Perceptual uncertainty is a central challenge for heterogeneous robot teams operating in unstructured outdoor environments, where no single viewpoint affords reliable scene understanding. Perceptual uncertainty, arising from sources such as occlusions, manifests differently across robot viewpoints depending on scene structure. Detecting and resolving sources of perceptual uncertainty requires both scene-based contextual reasoning and capability-aware robot allocation. While vision-language models provide strong semantic priors for both, they are computationally prohibitive for onboard inference and lack calibrated uncertainty quantification. We introduce Co-GLANCE, a real-time onboard perception and decision-making system for uncertainty resolution in heterogeneous robot teams. Co-GLANCE distills the semantic reasoning capabilities of a vision-language model into an end-to-end model for occlusion segmentation and robot allocation, eliminating the need for cloud-based inference. To quantify perceptual uncertainty, Co-GLANCE combines conformal prediction with selective abstention to provide statistically valid coverage guarantees for segmentation, robot allocation, and detection outputs. These calibrated uncertainty estimates directly trigger active perception, dispatching the most appropriate robot to acquire informative viewpoints and resolve uncertainty. Across real-world scenarios, Co-GLANCE outperforms cloud-based vision-language model baselines in occlusion segmentation and robot allocation accuracy by 25% and 36%, respectively, while reducing per-frame inference latency 350x. We also release an air-ground dataset for future research. Code, videos, and dataset available at https://co-glance.github.io/ .


翻译:感知不确定性是异构机器人团队在非结构化户外环境中面临的核心挑战——此类环境中,单一视角无法保证可靠的场景理解。由遮挡等因素引发的感知不确定性会因场景结构差异而通过不同机器人视角产生不同表现。检测并消除感知不确定性需要同时具备基于场景的上下文推理与能力感知的机器人调度能力。尽管视觉语言模型为此两者提供了强大的语义先验,但其在机载推理场景中计算开销过高,且缺乏校准后的不确定性量化机制。本文提出Co-GLANCE——面向异构机器人团队不确定性消除的实时机载感知与决策系统。Co-GLANCE将视觉语言模型的语义推理能力蒸馏至用于遮挡分割与机器人调度的端到端模型中,从而消除对云端推理的依赖。为量化感知不确定性,Co-GLANCE将保形预测与选择性弃权机制结合,为分割、机器人调度及检测输出提供具有统计有效性的覆盖保证。这些经校准的不确定性估计可直接触发主动感知:系统将调度最合适的机器人前往采集信息性视角以消除不确定性。在真实场景测试中,Co-GLANCE在遮挡分割与机器人调度准确率上分别比基于云端的视觉语言模型基线方法提升25%与36%,同时将每帧推理延迟降低350倍。我们同时发布了面向未来研究的地空数据集。代码、演示视频及数据集详见https://co-glance.github.io/。

0
下载
关闭预览

相关内容

《机器人弹性物体感知技术研究》227页
专知会员服务
18+阅读 · 2025年11月20日
【牛津博士论文】在不确定环境中的情境化决策制定
专知会员服务
23+阅读 · 2025年11月20日
《人机协作集成模型中的不确定性捕获》博士论文
专知会员服务
25+阅读 · 2025年10月2日
「PPT」深度学习中的不确定性估计
专知
27+阅读 · 2019年7月20日
深度学习在自动驾驶感知领域的应用
AI100
11+阅读 · 2019年3月6日
【紫冬分享】移动机器人视觉里程计综述
中国科学院自动化研究所
12+阅读 · 2018年10月31日
【机器视觉】表面缺陷检测:机器视觉检测技术
产业智能官
25+阅读 · 2018年5月30日
报名 | 让机器读懂你的意图——人体姿态估计入门
人工智能头条
10+阅读 · 2017年9月19日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
52+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
24+阅读 · 2011年12月31日
国家自然科学基金
29+阅读 · 2011年12月31日
VIP会员
最新内容
综述 | 世界动作模型:少做梦,多行动
专知会员服务
3+阅读 · 6月23日
美以伊冲突:无人机与人工智能的运用
专知会员服务
5+阅读 · 6月23日
《特种部队在透明战场中的生存力》最新报告
专知会员服务
4+阅读 · 6月23日
综述 | 3D场景图:开放挑战与未来方向
专知会员服务
8+阅读 · 6月22日
21世纪的无人机战争
专知会员服务
4+阅读 · 6月22日
《量子技术的军事任务技术适配与利用》
专知会员服务
5+阅读 · 6月22日
相关VIP内容
《机器人弹性物体感知技术研究》227页
专知会员服务
18+阅读 · 2025年11月20日
【牛津博士论文】在不确定环境中的情境化决策制定
专知会员服务
23+阅读 · 2025年11月20日
《人机协作集成模型中的不确定性捕获》博士论文
专知会员服务
25+阅读 · 2025年10月2日
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
52+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
24+阅读 · 2011年12月31日
国家自然科学基金
29+阅读 · 2011年12月31日
Top
微信扫码咨询专知VIP会员