Visual navigation models often struggle in real-world dynamic environments due to limited robustness to the sim-to-real gap and the difficulty of training policies tailored to target deployment environments (e.g., households, restaurants, and factories). Although real-to-sim navigation simulation using 3D Gaussian Splatting (GS) can mitigate these challenges, prior GS-based works have considered only static scenes or non-photorealistic human obstacles built from simulator assets, despite the importance of safe navigation in dynamic environments. To address these issues, we propose ReaDy-Go, a novel real-to-sim simulation pipeline that synthesizes photorealistic dynamic scenarios in target environments by augmenting a reconstructed static GS scene with dynamic human GS obstacles, and trains navigation policies using the generated datasets. The pipeline provides three key contributions: (1) a dynamic GS simulator that integrates static scene GS with a human animation module, enabling the insertion of animatable human GS avatars and the synthesis of plausible human motions from 2D trajectories, (2) a navigation dataset generation framework that leverages the simulator along with a robot expert planner designed for dynamic GS representations and a human planner, and (3) robust navigation policies to both the sim-to-real gap and moving obstacles. The proposed simulator generates thousands of photorealistic navigation scenarios with animatable human GS avatars from arbitrary viewpoints. ReaDy-Go outperforms baselines across target environments in both simulation and real-world experiments, demonstrating improved navigation performance even after sim-to-real transfer and in the presence of moving obstacles. Moreover, zero-shot sim-to-real deployment in an unseen environment indicates its generalization potential. Project page: https://syeon-yoo.github.io/ready-go-site/.


翻译:视觉导航模型在真实动态环境中常表现不佳,其原因在于对仿真到现实差距的鲁棒性有限,以及难以针对目标部署环境(如家庭、餐厅和工厂)训练定制化策略。尽管利用3D高斯溅射(GS)的实景到仿真导航仿真可以缓解这些挑战,但先前基于GS的研究仅考虑了静态场景或使用仿真资产构建的非真实感人体障碍物,而忽视了动态环境中安全导航的重要性。为解决这些问题,我们提出了ReaDy-Go,一种新颖的实景到仿真仿真流程。该流程通过将重建的静态GS场景与动态人体GS障碍物相结合,在目标环境中合成真实感动态场景,并利用生成的数据集训练导航策略。该流程提供了三个关键贡献:(1)一个动态GS仿真器,它将静态场景GS与人体动画模块相集成,支持插入可动画化的人体GS化身,并能从2D轨迹合成合理的人体运动;(2)一个导航数据集生成框架,该框架利用仿真器、一个专为动态GS表示设计的机器人专家规划器以及一个人体规划器;(3)对仿真到现实差距和移动障碍物均具有鲁棒性的导航策略。所提出的仿真器能够从任意视角生成包含数千个可动画化人体GS化身的真实感导航场景。在仿真和真实世界实验中,ReaDy-Go在多个目标环境中的表现均优于基线方法,即使在经过仿真到现实迁移以及存在移动障碍物的情况下,其导航性能仍得到提升。此外,在未见环境中的零样本仿真到现实部署表明了其泛化潜力。项目页面:https://syeon-yoo.github.io/ready-go-site/。

0
下载
关闭预览

相关内容

3D是英文“Three Dimensions”的简称,中文是指三维、三个维度、三个坐标,即有长、有宽、有高,换句话说,就是立体的,是相对于只有长和宽的平面(2D)而言。
三维高斯泼溅应用综述:分割、编辑与生成
专知会员服务
15+阅读 · 2025年8月14日
自动驾驶中的3D目标检测研究进展
专知会员服务
11+阅读 · 2025年7月20日
【ICML2025】解决3D语言高斯溅射中的视角依赖语义
专知会员服务
8+阅读 · 2025年6月2日
《战场GPS拒止环境下基于地标定位的安全路径导航》
专知会员服务
18+阅读 · 2025年5月22日
《超视距空战中计算机生成兵力的行为建模》
专知会员服务
110+阅读 · 2023年7月10日
自动驾驶高精度定位如何在复杂环境进行
智能交通技术
18+阅读 · 2019年9月27日
无人驾驶仿真软件
智能交通技术
22+阅读 · 2019年5月9日
高翔:谈谈语义SLAM/地图
计算机视觉life
37+阅读 · 2019年3月26日
全景分割任务介绍及其最新进展【附PPT与视频资料】
人工智能前沿讲习班
11+阅读 · 2018年12月5日
国家自然科学基金
12+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
12+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员