Autonomous navigation in unfamiliar environments often relies on geometric mapping and planning strategies that overlook rich semantic cues such as signs, room numbers, and textual labels. We propose a novel semantic navigation framework that leverages large language models (LLMs) to infer patterns from partial observations and predict regions where the goal is most likely located. Our method combines local perceptual inputs with frontier-based exploration and periodic LLM queries, which extract symbolic patterns (e.g., room numbering schemes and building layout structures) and update a confidence grid used to guide exploration. This enables robots to move efficiently toward goal locations labeled with textual identifiers (e.g., "room 8") even before direct observation. We demonstrate that this approach enables more efficient navigation in sparse, partially observable grid environments by exploiting symbolic patterns. Experiments across environments modeled after real floor plans show that our approach consistently achieves near-optimal paths and outperforms baselines by over 25% in Success weighted by Path Length.


翻译:在陌生环境中的自主导航通常依赖于几何建图与规划策略,这些方法往往忽略了丰富的语义线索,如标识牌、房间号及文本标签。我们提出了一种新颖的语义导航框架,该框架利用大型语言模型(LLMs)从局部观测中推断模式,并预测目标最可能出现的区域。我们的方法将局部感知输入与基于前沿的探索及周期性LLM查询相结合,通过查询提取符号模式(例如房间编号规则与建筑布局结构),并更新用于引导探索的置信度网格。这使得机器人即使在直接观测到目标之前,也能高效地向带有文本标识(如“8号房间”)的目标位置移动。我们证明,该方法通过利用符号模式,能够在稀疏、部分可观测的网格环境中实现更高效的导航。在基于真实平面图建模的多种环境中进行的实验表明,我们的方法始终能实现接近最优的路径,并以路径长度加权的成功率指标超越基线方法超过25%。

0
下载
关闭预览

相关内容

大语言模型视角下的智能规划方法综述
专知会员服务
137+阅读 · 2024年4月20日
大型语言模型的高效提示方法综述
专知会员服务
75+阅读 · 2024年4月2日
自动驾驶高精度定位如何在复杂环境进行
智能交通技术
18+阅读 · 2019年9月27日
自动驾驶车辆定位技术概述|厚势汽车
厚势
10+阅读 · 2019年5月16日
干货|当深度学习遇见自动文本摘要,seq2seq+attention
机器学习算法与Python学习
10+阅读 · 2018年5月28日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
52+阅读 · 2015年12月31日
国家自然科学基金
18+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
VIP会员
最新内容
《第四代军事特种作战部队选拔与评估》
专知会员服务
1+阅读 · 今天6:23
不对称优势上升:自主系统如何强化海上拒止
专知会员服务
1+阅读 · 今天5:51
《人工智能赋能电磁战》(报告)
专知会员服务
2+阅读 · 4月17日
【CMU博士论文】迈向可扩展的开放世界三维感知
相关VIP内容
大语言模型视角下的智能规划方法综述
专知会员服务
137+阅读 · 2024年4月20日
大型语言模型的高效提示方法综述
专知会员服务
75+阅读 · 2024年4月2日
相关基金
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
52+阅读 · 2015年12月31日
国家自然科学基金
18+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员