Embodied navigation holds significant promise for real-world applications such as last-mile delivery. However, most existing approaches are confined to either indoor or outdoor environments and rely heavily on strong assumptions, such as access to precise coordinate systems. While current outdoor methods can guide agents to the vicinity of a target using coarse-grained localization, they fail to enable fine-grained entry through specific building entrances, critically limiting their utility in practical deployment scenarios that require seamless outdoor-to-indoor transitions. To bridge this gap, we introduce a novel task: out-to-in prior-free instruction-driven embodied navigation. This formulation explicitly eliminates reliance on accurate external priors, requiring agents to navigate solely based on egocentric visual observations guided by instructions. To tackle this task, we propose a vision-centric embodied navigation framework that leverages image-based prompts to drive decision-making. Additionally, we present the first open-source dataset for this task, featuring a pipeline that integrates trajectory-conditioned video synthesis into the data generation process. Through extensive experiments, we demonstrate that our proposed method consistently outperforms state-of-the-art baselines across key metrics including success rate and path efficiency.


翻译:具身导航在最后一公里配送等现实应用中具有重要前景。然而,现有方法大多局限于室内或室外单一环境,且严重依赖精确坐标系等强假设。当前室外方法虽能通过粗粒度定位引导智能体抵达目标大致区域,却无法实现通过特定建筑入口的细粒度进入,这在需要无缝室外-室内转换的实际部署场景中严重限制了其实用性。为弥合这一鸿沟,我们提出一项新颖任务:无先验知识的外到内指令驱动具身导航。该形式化方法明确摒弃了对精确外部先验信息的依赖,要求智能体仅基于以指令引导的自我中心视觉观测进行导航。针对此任务,我们提出一种视觉中心的具身导航框架,利用基于图像的提示驱动决策。此外,我们发布了该任务的首个开源数据集,其特色在于将轨迹条件视频合成技术融入数据生成流程的构建管道。通过大量实验,我们证明所提方法在成功率与路径效率等关键指标上均持续优于现有先进基线模型。

0
下载
关闭预览

相关内容

具身智能中的心理世界建模:深度综述
专知会员服务
28+阅读 · 1月10日
飞越鸿沟:从视角到全景视觉的综述
专知会员服务
24+阅读 · 2025年9月5日
《战场GPS拒止环境下基于地标定位的安全路径导航》
专知会员服务
18+阅读 · 2025年5月22日
《拒止GNSS的环境中进行替代导航的信念空间规划》145页
专知会员服务
39+阅读 · 2021年9月7日
专知会员服务
27+阅读 · 2021年9月1日
国外有人/无人平台协同作战概述
无人机
122+阅读 · 2019年5月28日
自动驾驶车辆定位技术概述|厚势汽车
厚势
10+阅读 · 2019年5月16日
【未来黑科技】深度玩转行人重识别与跨境追踪
炼数成金订阅号
11+阅读 · 2019年4月18日
车路协同构建“通信+计算”新体系
智能交通技术
11+阅读 · 2019年3月26日
全景分割任务介绍及其最新进展【附PPT与视频资料】
人工智能前沿讲习班
11+阅读 · 2018年12月5日
【紫冬分享】移动机器人视觉里程计综述
中国科学院自动化研究所
12+阅读 · 2018年10月31日
ECCV发布:228页教程全面理解视觉定位技术
专知
17+阅读 · 2018年9月12日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关资讯
国外有人/无人平台协同作战概述
无人机
122+阅读 · 2019年5月28日
自动驾驶车辆定位技术概述|厚势汽车
厚势
10+阅读 · 2019年5月16日
【未来黑科技】深度玩转行人重识别与跨境追踪
炼数成金订阅号
11+阅读 · 2019年4月18日
车路协同构建“通信+计算”新体系
智能交通技术
11+阅读 · 2019年3月26日
全景分割任务介绍及其最新进展【附PPT与视频资料】
人工智能前沿讲习班
11+阅读 · 2018年12月5日
【紫冬分享】移动机器人视觉里程计综述
中国科学院自动化研究所
12+阅读 · 2018年10月31日
ECCV发布:228页教程全面理解视觉定位技术
专知
17+阅读 · 2018年9月12日
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员