This work presents a mapless global navigation approach for outdoor applications. It combines the exploratory capacity of conditional variational autoencoders (CVAEs) to generate trajectories and the semantic segmentation capabilities of a lightweight visual language model (VLM) to select the trajectory to execute. Open-vocabulary segmentation is used to score and select the generated trajectories based on natural language, and a state-of-the-art local planner executes velocity commands. One of the key features of the proposed approach is its ability to generate a large variability of trajectories and to select them and navigate in real-time. The approach was validated through real-world outdoor navigation experiments, achieving superior performance compared to state-of-the-art methods. A video showing an experimental run of the system can be found in https://www.youtube.com/watch?v=i3R5ey5O2yk.


翻译:本研究提出了一种适用于室外应用的无地图全局导航方法。该方法结合了条件变分自编码器(CVAE)生成轨迹的探索能力,以及轻量级视觉语言模型(VLM)选择待执行轨迹的语义分割能力。系统利用开放词汇分割,基于自然语言对生成的轨迹进行评分与选择,并由一个先进的局部规划器执行速度指令。所提方法的关键特性之一在于其能够生成高度多样化的轨迹,并实时进行选择与导航。该方法通过真实室外导航实验进行了验证,与现有先进方法相比,表现出更优越的性能。展示系统实验运行过程的视频可在 https://www.youtube.com/watch?v=i3R5ey5O2yk 查看。

0
下载
关闭预览

相关内容

SEM 是 Search Engine Marketing 的缩写,中文意思是搜索引擎营销。SEM 是一种新的网络营销形式。SEM 所做的就是全面而有效的利用搜索引擎来进行网络营销和推广。SEM 追求最高的性价比,以最小的投入,获最大的来自搜索引擎的访问量,并产生商业价值。
《战场GPS拒止环境下基于地标定位的安全路径导航》
专知会员服务
18+阅读 · 2025年5月22日
《用于导航的磁异常绘图(含代码)》最新570页
专知会员服务
32+阅读 · 2024年11月8日
RSS 2024 | NaVid:视觉语言导航大模型
专知会员服务
34+阅读 · 2024年6月9日
【AAAI2024】VLN-VIDEO: 利用驾驶视频进行户外视觉语言导航
专知会员服务
10+阅读 · 2024年2月10日
国家自然科学基金
14+阅读 · 2017年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
26+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
14+阅读 · 2017年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
26+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员