Spatial intelligence unfolds through a perception-action loop: agents act to acquire observations, and reason about how observations vary as a function of action. Rather than passively processing what is seen, they actively uncover what is unseen - occluded structure, dynamics, containment, and functionality that cannot be resolved from passive sensing alone. We move beyond prior formulations of spatial intelligence that assume oracle observations by recasting the observer as an actor. We introduce ESI-BENCH, a comprehensive benchmark for embodied spatial intelligence spanning 10 task categories and 29 subcategories built on OmniGibson, grounded in Spelke's core knowledge systems. Agents must decide what abilities to deploy - perception, locomotion, and manipulation - and how to sequence them to actively accumulate task-relevant evidence. We conduct extensive experiments on state-of-the-art MLLMs and find that active exploration substantially outperforms passive counterparts, with agents spontaneously discovering emergent spatial strategies without explicit instructions, while random multi-view often adds noise rather than signal despite consuming far more images. Most failures stem not from weak perception but from action blindness: poor action choices lead to poor observations, which in turn drive cascading errors. While explicit 3D grounding stabilizes reasoning on depth-sensitive tasks, imperfect 3D representation proves more harmful than 2D baselines by distorting spatial relations. Human studies further reveal that unlike humans who seek falsifying viewpoints and revise beliefs under contradiction, models commit prematurely with high confidence regardless of evidence quality, exposing a metacognitive gap that neither better perception nor more embodied interaction alone can close.


翻译:摘要:空间智能通过感知-行动循环展开:智能体通过行动获取观察,并推理观察如何随行动变化。它并非被动处理所见之物,而是主动揭示不可见之物——被动感知无法解析的遮挡结构、动态、包含关系及功能属性。我们超越先前依赖先知观察的空间智能范式,将观察者重新定义为行动者。基于OmniGibson平台,以Spelke核心知识体系为理论根基,我们提出ESI-BENCH——跨越10个任务类别与29个子类别的具身空间智能综合基准。智能体必须自主决策需调用的能力(感知、移动、操作)及其序列编排,以主动积累任务相关证据。针对最先进多模态大语言模型的广泛实验表明:主动探索显著优于被动策略,智能体无需显式指令即可自发涌现空间策略,而随机多视角采样虽消耗更多图像,却常引入噪声而非有效信号。多数失败根源并非感知薄弱,而是"行动盲视":错误行动选择导致劣质观察,进而引发级联误差。在深度敏感任务中,显式3D感知虽可稳定推理,但残缺的3D表征因扭曲空间关系比2D基线更具危害性。人类研究进一步揭示:不同于人类会寻求证伪视角并在矛盾时修正信念,模型无论证据质量如何均会过早固化高置信度判断,暴露出感知增强与具身交互无法单独弥补的元认知鸿沟。

0
下载
关闭预览

相关内容

AI 智能体系统:体系架构、应用场景及评估范式
空间智能研究报告
专知会员服务
31+阅读 · 2025年5月16日
数据驱动的具身学习探索
专知会员服务
11+阅读 · 2025年2月26日
【NUS博士论文】面向交互的多智能体行为预测,156页pdf
专知会员服务
32+阅读 · 2024年11月17日
2024年中国具身智能行业研究:知行合一,拥抱AI新范式
专知会员服务
64+阅读 · 2024年8月13日
空间数据智能:概念、技术与挑战
专知会员服务
93+阅读 · 2022年2月3日
数据驱动的态势认知技术及发展思考
专知
19+阅读 · 2022年7月12日
浅谈群体智能——新一代AI的重要方向
中国科学院自动化研究所
44+阅读 · 2019年10月16日
从信息瓶颈理论一瞥机器学习的“大一统理论”
【混合智能】人机混合智能的哲学思考
产业智能官
12+阅读 · 2018年10月28日
群体智能:新一代人工智能的重要方向
走向智能论坛
12+阅读 · 2017年8月16日
国家自然科学基金
9+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
3+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
6+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
3+阅读 · 6月17日
相关VIP内容
AI 智能体系统:体系架构、应用场景及评估范式
空间智能研究报告
专知会员服务
31+阅读 · 2025年5月16日
数据驱动的具身学习探索
专知会员服务
11+阅读 · 2025年2月26日
【NUS博士论文】面向交互的多智能体行为预测,156页pdf
专知会员服务
32+阅读 · 2024年11月17日
2024年中国具身智能行业研究:知行合一,拥抱AI新范式
专知会员服务
64+阅读 · 2024年8月13日
空间数据智能:概念、技术与挑战
专知会员服务
93+阅读 · 2022年2月3日
相关基金
国家自然科学基金
9+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员