Recent navigation systems achieve strong benchmark results, yet real-world deployment often remains visibly stop-and-go. This bottleneck arises because the sense-inference-execution loop is still blocking: after each new observation, the controller must wait for sensing, transmission, and inference before motion can continue. Reducing action-generation cost alone therefore does not remove redundant waiting. To address this issue, we present LiveVLN, a training-free framework for more continuous embodied navigation by augmenting pretrained VLM navigators with multi-step action continuation. Instead of pausing for each full sense-and-inference round, LiveVLN overlaps execution with the processing of newly arrived observations, allowing refreshed future actions to be handed off before the current executable prefix is exhausted. This design keeps actions continuously available during motion, reducing idle waiting and enabling smoother online execution. The framework operates at runtime and can be integrated with compatible pretrained VLM navigators. Across R2R and RxR, LiveVLN preserves benchmark performance while reducing waiting time and improving action availability. In real-world deployments, it cuts average episode waiting time by up to $77.7\%$ and shortens wall-clock episode time by $12.6\%$ on StreamVLN and $19.6\%$ on NaVIDA, yielding more coherent execution during deployment. Code is available at https://github.com/NIneeeeeem/LiveVLN.


翻译:近期导航系统在基准测试中取得了强劲表现,但在实际部署中仍常出现明显的“停-走”现象。这一瓶颈源于感知-推理-执行循环的阻塞特性:每次新观测后,控制器必须等待传感、传输和推理完成才能继续运动。因此,单纯降低动作生成成本无法消除冗余等待。为解决该问题,我们提出LiveVLN——一种无训练框架,通过为预训练VLM导航器增加多步动作延续机制,实现更连续的具身导航。不同于为每轮完整的感知与推理循环而暂停,LiveVLN将执行过程与新到达观测数据的处理相重叠,使得在可执行前缀耗尽前,即可分发出刷新后的未来动作。该设计确保运动过程中动作持续可用,从而减少空闲等待并实现更平滑的在线执行。该框架在运行时生效,可集成至兼容的预训练VLM导航器。在R2R与RxR基准上,LiveVLN在保持基准性能的同时降低了等待时间、提升了动作可用性。实际部署中,其在StreamVLN上将平均回合等待时间降低高达77.7%,在NaVIDA上将实际耗时缩短12.6%与19.6%,从而在部署时实现更连贯的执行。代码开源于https://github.com/NIneeeeeem/LiveVLN。

0
下载
关闭预览

相关内容

【AAAI2024】VLN-VIDEO: 利用驾驶视频进行户外视觉语言导航
专知会员服务
10+阅读 · 2024年2月10日
自动驾驶高精度定位如何在复杂环境进行
智能交通技术
18+阅读 · 2019年9月27日
用Attention玩转CV,一文总览自注意力语义分割进展
SLAM的动态地图和语义问题
计算机视觉life
24+阅读 · 2019年4月27日
视频中的多目标跟踪【附PPT与视频资料】
人工智能前沿讲习班
30+阅读 · 2018年11月29日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
VIP会员
最新内容
战力倍增器:自主武器系统与乌克兰及加沙冲突
人工智能赋能战场情报:提速决策进程
专知会员服务
2+阅读 · 7月17日
《拥抱新兴技术:面向未来军官的教育革新》
专知会员服务
5+阅读 · 7月17日
《无人地面战车(UGV)的崛起》报告
专知会员服务
7+阅读 · 7月16日
相关VIP内容
【AAAI2024】VLN-VIDEO: 利用驾驶视频进行户外视觉语言导航
专知会员服务
10+阅读 · 2024年2月10日
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员