Reproducible closed-loop evaluation remains a major bottleneck in Embodied AI such as visual navigation. A promising path forward is high-fidelity simulation that combines photorealistic sensor rendering with geometrically grounded interaction in complex, open-world urban environments. Although recent video-3DGS methods ease open-world scene capturing, they are still unsuitable for benchmarking due to large visual and geometric sim-to-real gaps. To address these challenges, we introduce Wanderland, a real-to-sim framework that features multi-sensor capture, reliable reconstruction, accurate geometry, and robust view synthesis. Using this pipeline, we curate a diverse dataset of indoor-outdoor urban scenes and systematically demonstrate how image-only pipelines scale poorly, how geometry quality impacts novel view synthesis, and how all of these adversely affect navigation policy learning and evaluation reliability. Beyond serving as a trusted testbed for embodied navigation, Wanderland's rich raw sensor data further allows benchmarking of 3D reconstruction and novel view synthesis models. Our work establishes a new foundation for reproducible research in open-world embodied AI. Project website is at https://ai4ce.github.io/wanderland/.


翻译:可复现的闭环评估仍是具身AI(如视觉导航)领域的主要瓶颈。一个富有前景的前进方向是结合高保真度传感器渲染与复杂开放世界城市场景中几何基础交互的仿真。尽管近期视频-3D高斯泼溅方法简化了开放世界场景捕捉,但由于存在显著的视觉与几何仿真-真实差距,它们仍不适用于基准测试。为应对这些挑战,我们提出沃德兰——一个具备多传感器采集、可靠重建、精确几何与鲁棒视图合成能力的真实到仿真框架。利用该流水线,我们策划了一个包含室内外城市场景的多样化数据集,系统性地论证了纯图像流水线的扩展性不足、几何质量对新视图合成的影响,以及这些因素如何对导航策略学习与评估可靠性产生不利影响。除了作为具身导航的可信测试平台外,沃德兰的丰富原始传感器数据还可用于3D重建与新视图合成模型的基准测试。我们的工作为开放世界具身AI的可复现研究奠定了新基础。项目网站:https://ai4ce.github.io/wanderland/。

0
下载
关闭预览

相关内容

智能体化世界建模:基础、能力、规律及展望
专知会员服务
23+阅读 · 4月28日
【CMU博士论文】迈向可扩展的开放世界三维感知
专知会员服务
17+阅读 · 4月17日
【博士论文】面向开放式世界的鲁棒智能体
专知会员服务
25+阅读 · 2025年12月10日
【NYU博士论文】面向开放世界的人工智能:学习原则
专知会员服务
43+阅读 · 2025年4月26日
开放世界机器学习
专知会员服务
31+阅读 · 2024年3月7日
《面向定义跨域的领域复杂性度量》 DARPA 和美陆军
专知会员服务
37+阅读 · 2024年2月25日
国家自然科学基金
12+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2013年12月31日
Arxiv
0+阅读 · 3月20日
VIP会员
最新内容
美国从乌克兰无人机战争中学习经验
专知会员服务
1+阅读 · 今天15:03
ICML 2026 | 面向视觉语言模型的语义鲁棒性认证
专知会员服务
0+阅读 · 今天14:31
学习数据的几何:形状空间分析数学综述
专知会员服务
8+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
10+阅读 · 6月17日
相关资讯
相关基金
国家自然科学基金
12+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2013年12月31日
Top
微信扫码咨询专知VIP会员