Driven by the rapid evolution of Vision-Action and Vision-Language-Action models, imitation learning has significantly advanced robotic manipulation capabilities. However, evaluation methodologies have lagged behind, hindering the establishment of Trustworthy Evaluation for these behaviors. Current paradigms rely on binary success rates, failing to address the critical dimensions of trust: Source Authenticity (i.e., distinguishing genuine policy behaviors from human teleoperation) and Execution Quality (e.g., smoothness and safety). To bridge these gaps, we propose a solution that combines the Eval-Actions benchmark and the AutoEval architecture. First, we construct the Eval-Actions benchmark to support trustworthiness analysis. Distinct from existing datasets restricted to successful human demonstrations, Eval-Actions integrates VA and VLA policy execution trajectories alongside human teleoperation data, explicitly including failure scenarios. This dataset is structured around three core supervision signals: Expert Grading (EG), Rank-Guided preferences (RG), and Chain-of-Thought (CoT). Building on this, we propose the AutoEval architecture: AutoEval leverages Spatio-Temporal Aggregation for semantic assessment, augmented by an auxiliary Kinematic Calibration Signal to refine motion smoothness; AutoEval Plus (AutoEval-P) incorporates the Group Relative Policy Optimization (GRPO) paradigm to enhance logical reasoning capabilities. Experiments show AutoEval achieves Spearman's Rank Correlation Coefficients (SRCC) of 0.81 and 0.84 under the EG and RG protocols, respectively. Crucially, the framework possesses robust source discrimination capabilities, distinguishing between policy-generated and teleoperated videos with 99.6% accuracy, thereby establishing a rigorous standard for trustworthy robotic evaluation. Our project and code are available at https://term-bench.github.io/.


翻译:在视觉-动作与视觉-语言-动作模型快速发展的推动下,模仿学习显著提升了机器人操作能力。然而,评估方法的发展相对滞后,阻碍了对此类行为建立可信评估体系。当前范式依赖二元成功率指标,未能涵盖可信度的关键维度:来源真实性(即区分真实策略行为与人类遥操作)与执行质量(如平滑度与安全性)。为弥补这些不足,我们提出了一种结合Eval-Actions基准与AutoEval架构的解决方案。首先,我们构建了支持可信度分析的Eval-Actions基准。区别于现有仅包含成功人类演示的数据集,Eval-Actions整合了VA与VLA策略执行轨迹以及人类遥操作数据,并明确包含失败场景。该数据集围绕三个核心监督信号构建:专家评分、等级引导偏好与思维链。在此基础上,我们提出AutoEval架构:AutoEval利用时空聚合进行语义评估,并通过辅助运动学校准信号优化动作平滑度;AutoEval Plus则引入群体相对策略优化范式以增强逻辑推理能力。实验表明,AutoEval在专家评分与等级引导偏好协议下分别达到0.81和0.84的斯皮尔曼等级相关系数。关键的是,该框架具备强大的来源判别能力,能以99.6%的准确率区分策略生成视频与遥操作视频,从而为可信机器人评估建立了严谨标准。项目与代码公开于https://term-bench.github.io/。

0
下载
关闭预览

相关内容

文本、视觉与语音生成的自动化评估方法综述
专知会员服务
20+阅读 · 2025年6月15日
生成式人工智能在机器人操作中的应用:综述
专知会员服务
29+阅读 · 2025年3月6日
可信机器学习综述
专知会员服务
48+阅读 · 2024年7月15日
人工智能系统可信性度量评估研究综述
专知会员服务
95+阅读 · 2022年1月30日
可信机器学习的公平性综述
专知会员服务
69+阅读 · 2021年2月23日
【综述】自动机器学习AutoML最新65页综述,带你了解最新进展
中国人工智能学会
48+阅读 · 2019年5月3日
最新人机对话系统简略综述
专知
26+阅读 · 2018年3月10日
推荐|机器学习中的模型评价、模型选择和算法选择!
全球人工智能
10+阅读 · 2018年2月5日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2013年12月31日
国家自然科学基金
12+阅读 · 2013年12月31日
国家自然科学基金
23+阅读 · 2009年12月31日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2013年12月31日
国家自然科学基金
12+阅读 · 2013年12月31日
国家自然科学基金
23+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员