Visual navigation models often struggle in real-world dynamic environments due to limited robustness to the sim-to-real gap and the difficulty of training policies tailored to target deployment environments (e.g., households, restaurants, and factories). Although real-to-sim navigation simulation using 3D Gaussian Splatting (GS) can mitigate this gap, prior works have assumed only static scenes or unrealistic dynamic obstacles, despite the importance of safe navigation in dynamic environments. To address these issues, we propose ReaDy-Go, a novel real-to-sim simulation pipeline that synthesizes photorealistic dynamic scenarios for target environments. ReaDy-Go generates photorealistic navigation datasets for dynamic environments by combining a reconstructed static GS scene with dynamic human GS obstacles, and trains policies robust to both the sim-to-real gap and moving obstacles. The pipeline consists of three components: (1) a dynamic GS simulator that integrates scene GS with a human animation module, enabling the insertion of animatable human GS avatars and the synthesis of plausible human motions from 2D trajectories, (2) navigation dataset generation for dynamic environments that leverages the simulator, a robot expert planner designed for dynamic GS representations, and a human planner, and (3) policy learning using the generated datasets. ReaDy-Go outperforms baselines across target environments in both simulation and real-world experiments, demonstrating improved navigation performance even after sim-to-real transfer and in the presence of moving obstacles. Moreover, zero-shot sim-to-real deployment in an unseen environment indicates its generalization potential. Project page: https://syeon-yoo.github.io/ready-go-site/.


翻译:视觉导航模型在真实动态环境中常因对仿真到真实差距的鲁棒性有限,以及难以针对目标部署环境(如家庭、餐厅、工厂)训练特定策略而表现不佳。尽管使用3D高斯溅射进行真实到仿真导航仿真可缓解此差距,但先前工作仅假设静态场景或不切实际的动态障碍物,忽视了动态环境中安全导航的重要性。为解决这些问题,我们提出ReaDy-Go——一种新颖的真实到仿真仿真流程,可为目标环境合成逼真的动态场景。ReaDy-Go通过将重建的静态高斯溅射场景与动态人体高斯溅射障碍物相结合,生成动态环境的逼真导航数据集,并训练对仿真到真实差距及移动障碍物均具鲁棒性的策略。该流程包含三个组件:(1) 动态高斯溅射仿真器,集成场景高斯溅射与人体动画模块,支持插入可动画化的人体高斯溅射化身,并从二维轨迹合成合理的人体运动;(2) 动态环境导航数据集生成,利用仿真器、专为动态高斯溅射表示设计的机器人专家规划器及人体规划器;(3) 使用生成数据集进行策略学习。ReaDy-Go在仿真与真实世界实验中均优于基线方法,即使在仿真到真实迁移后及存在移动障碍物时仍展现出改进的导航性能。此外,在未见环境中的零样本仿真到真实部署表明了其泛化潜力。项目页面:https://syeon-yoo.github.io/ready-go-site/。

0
下载
关闭预览

相关内容

《动态对抗环境下无人机路径规划算法》
专知会员服务
38+阅读 · 2025年7月22日
自动驾驶中的3D目标检测研究进展
专知会员服务
11+阅读 · 2025年7月20日
《战场GPS拒止环境下基于地标定位的安全路径导航》
专知会员服务
18+阅读 · 2025年5月22日
自动驾驶高精度定位如何在复杂环境进行
智能交通技术
18+阅读 · 2019年9月27日
无人驾驶仿真软件
智能交通技术
22+阅读 · 2019年5月9日
自动驾驶仿真软件列表
智能交通技术
13+阅读 · 2019年5月9日
高翔:谈谈语义SLAM/地图
计算机视觉life
37+阅读 · 2019年3月26日
【泡泡机器人】也来谈语义SLAM/语义地图
泡泡机器人SLAM
21+阅读 · 2019年3月12日
全景分割任务介绍及其最新进展【附PPT与视频资料】
人工智能前沿讲习班
11+阅读 · 2018年12月5日
国家自然科学基金
12+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
VIP会员
相关资讯
自动驾驶高精度定位如何在复杂环境进行
智能交通技术
18+阅读 · 2019年9月27日
无人驾驶仿真软件
智能交通技术
22+阅读 · 2019年5月9日
自动驾驶仿真软件列表
智能交通技术
13+阅读 · 2019年5月9日
高翔:谈谈语义SLAM/地图
计算机视觉life
37+阅读 · 2019年3月26日
【泡泡机器人】也来谈语义SLAM/语义地图
泡泡机器人SLAM
21+阅读 · 2019年3月12日
全景分割任务介绍及其最新进展【附PPT与视频资料】
人工智能前沿讲习班
11+阅读 · 2018年12月5日
相关基金
国家自然科学基金
12+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员