In vegetated environments, such as forests, exploratory robots play a vital role in navigating complex, cluttered environments where human access is limited and traditional equipment struggles. Visual occlusion from obstacles, such as foliage, can severely obstruct a robot's sensors, impairing scene understanding. We show that "peering", a characteristic side-to-side movement used by insects to overcome their visual limitations, can also allow robots to markedly improve visual reasoning under partial occlusion. This is accomplished by applying core signal processing principles, specifically optical synthetic aperture sensing, together with the vision reasoning capabilities of modern large multimodal models. Peering enables real-time, high-resolution, and wavelength-independent perception, which is crucial for vision-based scene understanding across a wide range of applications. The approach is low-cost and immediately deployable on any camera-equipped robot. We investigated different peering motions and occlusion masking strategies, demonstrating that, unlike peering, state-of-the-art multi-view 3D vision techniques fail in these conditions due to their high susceptibility to occlusion. Our experiments were carried out on an industrial-grade quadrupedal robot. However, the ability to peer is not limited to such platforms, but potentially also applicable to bipedal, hexapod, wheeled, or crawling platforms. Robots that can effectively see through partial occlusion will gain superior perception abilities - including enhanced scene understanding, situational awareness, camouflage breaking, and advanced navigation in complex environments.


翻译:在植被茂密的环境(如森林)中,探索型机器人在导航复杂、杂乱且人类难以进入、传统设备难以运作的环境中发挥着至关重要的作用。来自障碍物(如树叶)的视觉遮挡会严重阻碍机器人的传感器,损害其对场景的理解。我们证明,"窥视"——一种昆虫为克服其视觉局限而采用的典型左右摆动行为——同样能使机器人在部分遮挡条件下显著提升视觉推理能力。这是通过应用核心信号处理原理(特别是光学合成孔径传感)与现代大型多模态模型的视觉推理能力相结合实现的。窥视运动能够实现实时、高分辨率且与波长无关的感知,这对于广泛应用中基于视觉的场景理解至关重要。该方法成本低廉,可立即部署于任何配备摄像头的机器人。我们研究了不同的窥视运动与遮挡掩蔽策略,结果表明,与窥视不同,最先进的多视角三维视觉技术因其对遮挡的高度敏感性而在这些条件下失效。我们的实验在一台工业级四足机器人上进行。然而,窥视能力并不局限于此类平台,也可能适用于双足、六足、轮式或爬行平台。能够有效"看透"部分遮挡的机器人将获得卓越的感知能力——包括增强的场景理解、态势感知、伪装识别以及在复杂环境中的高级导航能力。

0
下载
关闭预览

相关内容

图机器学习 2.2-2.4 Properties of Networks, Random Graph
图与推荐
10+阅读 · 2020年3月28日
DeepMind:用PopArt进行多任务深度强化学习
论智
29+阅读 · 2018年9月14日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
51+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
51+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员