Embodied intelligence now spans navigation, household assistance, manipulation, autonomous driving, aerial agents, and multimodal large-model control. This expansion has made benchmark construction a central bottleneck for reliable evaluation. Unlike static datasets, embodied benchmarks combine task specifications, environments, robot data, demonstrations, annotations, metrics, evaluation scripts, and release policies into a single evaluation system. This survey reviews the literature through a five-stage construction pipeline: requirement and task construction, data acquisition, data cleaning and annotation, benchmark suite generation and metric definition, and evaluation execution with diagnostic feedback. For each stage, the survey analyzes the transition from manual curation to traditional automation, foundation-model assistance, and agentic closed-loop workflows. It also compares qualitative construction costs across human labor, data and asset acquisition, compute and simulation, validation and debugging, governance and maintenance, and rework risk. The main conclusion is that automation does not simply reduce benchmark cost. Instead, it often shifts cost toward validation, auditability, version control, and long-term governance. Progress in embodied evaluation will therefore depend not only on larger benchmark suites, but also on construction pipelines that are diagnosable, auditable, and responsibly refreshable.


翻译:具身智能现已涵盖导航、家务辅助、操作、自动驾驶、空中智能体以及多模态大模型控制等多个领域。这一扩展使得基准构建成为实现可靠评估的核心瓶颈。与静态数据集不同,具身基准将任务规范、环境、机器人数据、示教、标注、评估指标、评估脚本以及发布策略整合为一个统一的评估系统。本综述通过一个五阶段构建流程来回顾相关文献:需求与任务构建、数据获取、数据清洗与标注、基准套件生成及指标定义,以及带诊断反馈的评估执行。针对每个阶段,本综述分析了从人工管理到传统自动化、基础模型辅助以及智能体闭环工作流程的转变过程。同时,它还在人力、数据和资产获取、计算与仿真、验证与调试、治理与维护以及返工风险方面比较了定性的构建成本。主要结论是:自动化并非简单降低基准成本,相反,它往往将成本转移到验证、可审计性、版本控制和长期治理上。因此,具身评估的进步不仅依赖于更大的基准套件,还有赖于可诊断、可审计且可持续更新迭代的构建流程。

0
下载
关闭预览

相关内容

面向具身智能与机器人仿真的三维生成:综述
专知会员服务
18+阅读 · 4月30日
面向柔性制造的具身智能综述
专知会员服务
22+阅读 · 2月11日
具身智能十大观察洞悉智能发展之势,探索智能向善之路
专知会员服务
24+阅读 · 2025年11月25日
基于多模态大模型的具身智能体研究进展与展望
专知会员服务
27+阅读 · 2025年7月2日
基于大模型的具身智能系统综述
专知会员服务
87+阅读 · 2024年11月1日
重磅!《具身智能发展报告(2024年)》发布,54页pdf
专知会员服务
92+阅读 · 2024年8月27日
2024年中国具身智能行业研究:知行合一,拥抱AI新范式
专知会员服务
64+阅读 · 2024年8月13日
多模态大模型时代的全球首篇《具身智能》综述
专知会员服务
77+阅读 · 2024年7月26日
概述自动机器学习(AutoML)
人工智能学家
19+阅读 · 2019年8月11日
群体智能:新一代人工智能的重要方向
走向智能论坛
12+阅读 · 2017年8月16日
国家自然科学基金
15+阅读 · 2016年12月31日
国家自然科学基金
20+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
28+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2013年12月31日
国家自然科学基金
21+阅读 · 2013年12月31日
Arxiv
0+阅读 · 6月11日
VIP会员
最新内容
《无人机脆弱性利用:网络空间力量的新域》
专知会员服务
2+阅读 · 今天4:08
美空军如何将人工智能从战场部署至后方机关
专知会员服务
11+阅读 · 7月31日
《史诗怒火行动:多域前瞻评估》49页报告
专知会员服务
7+阅读 · 7月31日
《英国防部:未来空战系统数字化战略》33页
专知会员服务
5+阅读 · 7月31日
《面向自主飞行网络的智能体人工智能架构》
专知会员服务
7+阅读 · 7月31日
“史诗怒火”行动:现代多域作战的重要节点
专知会员服务
8+阅读 · 7月30日
《下一代无线网络中的多无人机通信资源管理》
相关VIP内容
面向具身智能与机器人仿真的三维生成:综述
专知会员服务
18+阅读 · 4月30日
面向柔性制造的具身智能综述
专知会员服务
22+阅读 · 2月11日
具身智能十大观察洞悉智能发展之势,探索智能向善之路
专知会员服务
24+阅读 · 2025年11月25日
基于多模态大模型的具身智能体研究进展与展望
专知会员服务
27+阅读 · 2025年7月2日
基于大模型的具身智能系统综述
专知会员服务
87+阅读 · 2024年11月1日
重磅!《具身智能发展报告(2024年)》发布,54页pdf
专知会员服务
92+阅读 · 2024年8月27日
2024年中国具身智能行业研究:知行合一,拥抱AI新范式
专知会员服务
64+阅读 · 2024年8月13日
多模态大模型时代的全球首篇《具身智能》综述
专知会员服务
77+阅读 · 2024年7月26日
相关基金
国家自然科学基金
15+阅读 · 2016年12月31日
国家自然科学基金
20+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
28+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2013年12月31日
国家自然科学基金
21+阅读 · 2013年12月31日
Top
微信扫码咨询专知VIP会员