In vegetated environments, such as forests, exploratory robots play a vital role in navigating complex, cluttered environments where human access is limited and traditional equipment struggles. Visual occlusion from obstacles, such as foliage, can severely obstruct a robot's sensors, impairing scene understanding. We show that "peering", a characteristic side-to-side movement used by insects to overcome their visual limitations, can also allow robots to markedly improve visual reasoning under partial occlusion. This is accomplished by applying core signal processing principles, specifically optical synthetic aperture sensing, together with the vision reasoning capabilities of modern large multimodal models. Peering enables real-time, high-resolution, and wavelength-independent perception, which is crucial for vision-based scene understanding across a wide range of applications. The approach is low-cost and immediately deployable on any camera-equipped robot. We investigated different peering motions and occlusion masking strategies, demonstrating that, unlike peering, state-of-the-art multi-view 3D vision techniques fail in these conditions due to their high susceptibility to occlusion. Our experiments were carried out on an industrial-grade quadrupedal robot. However, the ability to peer is not limited to such platforms, but potentially also applicable to bipedal, hexapod, wheeled, or crawling platforms. Robots that can effectively see through partial occlusion will gain superior perception abilities - including enhanced scene understanding, situational awareness, camouflage breaking, and advanced navigation in complex environments.


翻译:在植被茂密的环境(如森林)中,探索型机器人在导航复杂、杂乱且人类难以进入、传统设备难以运作的环境中发挥着至关重要的作用。来自障碍物(如树叶)的视觉遮挡会严重阻碍机器人的传感器,损害其对场景的理解。我们证明,"窥探"——一种昆虫用于克服其视觉局限性的特征性左右移动方式——同样能使机器人在部分遮挡条件下显著提升视觉推理能力。这是通过应用核心信号处理原理(特别是光学合成孔径传感)与现代大型多模态模型的视觉推理能力相结合实现的。窥探运动能够实现实时、高分辨率且与波长无关的感知,这对于广泛应用中基于视觉的场景理解至关重要。该方法成本低廉,可立即部署于任何配备摄像头的机器人。我们研究了不同的窥探运动与遮挡掩蔽策略,结果表明,与窥探不同,当前最先进的多视图3D视觉技术由于对遮挡高度敏感,在此类条件下会失效。我们的实验在一台工业级四足机器人上进行。然而,窥探能力并不局限于此类平台,也可能适用于双足、六足、轮式或爬行平台。能够有效"看穿"部分遮挡的机器人将获得更优越的感知能力——包括增强的场景理解、态势感知、伪装破除以及在复杂环境中的高级导航能力。

0
下载
关闭预览

相关内容

【伯克利博士论文】开放世界机器人之基础模型路径
专知会员服务
37+阅读 · 2024年8月13日
【伯克利博士论文】机器人机械搜索的操作与感知策略
专知会员服务
16+阅读 · 2022年6月4日
机器学习的可解释性
专知会员服务
69+阅读 · 2020年12月18日
【机器视觉】机器视觉全面解析
产业智能官
12+阅读 · 2018年11月12日
【紫冬分享】移动机器人视觉里程计综述
中国科学院自动化研究所
12+阅读 · 2018年10月31日
报名 | 让机器读懂你的意图——人体姿态估计入门
人工智能头条
10+阅读 · 2017年9月19日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
50+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
VIP会员
相关VIP内容
【伯克利博士论文】开放世界机器人之基础模型路径
专知会员服务
37+阅读 · 2024年8月13日
【伯克利博士论文】机器人机械搜索的操作与感知策略
专知会员服务
16+阅读 · 2022年6月4日
机器学习的可解释性
专知会员服务
69+阅读 · 2020年12月18日
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
50+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员