机器人做出了“像是在完成任务”的动作,和任务真的完成,是两回事。夹爪在桌面上擦过,污渍可能仍在;物体被稳稳放下,目的地却可能错误;书已上架,随后书架又被撞倒。如果奖励只随动作和时间增加,策略就可能学会迎合评分,而非满足任务。 新加坡国立大学与南洋理工大学研究者的论文《Robotic Reward Models in the Foundation-Model Era: A Survey and Capability Benchmark》,将114种相关方法按输出语义分为五类,并提出RRM-Bench-1K,在真实闭环机器人执行视频上统一研究27个评价器。Guoqiang Liang与Yiqi Lin为共同第一作者,Mike Zheng Shou为通讯作者,其他作者包括Shangchen Zhou、Wenzheng Zeng、Yanzhe Chen和Zechen Bai。论文于2026年11月16日提交至arXiv。 本文按原文8章及编号子节的顺序整理,压缩更深层技术路线和补充材料。全文重点是三个问题:分数到底评价什么,现有观测是否足以判断,以及该分数适合驱动哪种决策。 核心结论不是“奖励模型没有用”,而是:终点评分、密集进度、失败监测和证据不足识别是不同能力,不能被一个排行榜分数替代。
论文页面:https://arxiv.org/abs/2611.20741 PDF全文:https://arxiv.org/pdf/2611.20741 项目主页:https://ethanliang99.github.io/awesome-robot-reward-model
通用机器人策略能够尝试越来越多任务,但每次执行仍需要有人或系统判断:是否完成、哪里失败、是否继续。逐任务编写距离、接触和终止条件,难以随任务数量扩展。 机器人奖励模型利用基础模型作为表征、监督来源或裁判,构建可复用、受任务条件约束的评价器。早期方法以图文或视频相似性构造奖励;近期方法从成功、失败、局部完成、时间关系及轨迹偏好中训练专门模型。
图1:左侧为逐任务设计奖励项,右侧为共享评价器根据视觉证据和任务指令给出反馈。共享模型减少手工设计,却仍需验证其分数是否对应目标条件。截取自原文图1,第2页。 共同名称“奖励”掩盖了不同问题:成功概率回答是否完成,偏好效用回答哪个更好,期望回报回答后续策略还能取得什么。候选选择、停止判断与强化学习塑形,对分数的要求也不相同。 论文指出,成功示范中分数与帧序一致,只能说明它跟随时间顺序;下游策略改善则是评价器、学习算法、控制系统和候选池共同作用。二者都不能单独证明模型在真实失败和倒退时仍准确跟踪任务状态。
传统方法包括手工规则、几何成功判据、逆强化学习、人类偏好、成功示例及自监督视频学习。它们仍然重要,也是判断新方法增益的参照。 让语言模型写逐任务奖励代码,与训练一个可直接跨任务查询的评价器并不完全相同;代码奖励还可能与视觉判断组合。研究范围应根据实际评价组件确定,而不是只看系统是否使用大模型。
论文把机器人奖励模型定义为:利用CLIP或之后的基础模型,对任务说明和执行证据进行评价的组件。输入可以是单帧、时间窗口、轨迹前缀、完整视频、执行对或多视角,也可以包含动作、本体状态等。 分类依据是原生输出在下游转换前回答的问题,而非它是否输出一个标量。 结果类判断任务是否完成或未来是否失败;绝对进度类估计在某个任务锚定尺度上完成多少;相对类比较状态、执行或动作谁更好;时间价值类评估阶段、剩余时间或特定后续策略的预期回报;混合类组合多个问题或输出结构化诊断。
图2:114项方法的语义分类,五类分别包含12、29、23、26和24项。相同架构可以服务不同语义,同一语义也可以由不同机制实现。截取自原文图2,第3页。
纳入方法需要在机器人行为或相关表征上验证评价用途,输出任务条件下的成功、进度、偏好、价值或验证信号,并由基础模型实质参与表征、训练或判断。 策略或世界模型只有在包含可单独查询或消融的评价组件时才进入范围。动作似然、可达性和未来图像说明“可能或可行”,并不天然等于“符合任务”。114项综述方法、27个实测评价器和14种工具适配方法是不同集合,不能混用数量。
设计链条从证据接口开始,经表征和评价头生成原生输出,再由决策规则用于选择、过滤、监控或学习。输入看不到的条件,不能仅靠更复杂输出恢复;相同分数经过阈值、差分或排序后,也未必保持原来含义。 因此应同时说明任务定义、输入范围、输出语义及使用规则,而不是把所有数值统称为奖励。
结果模型包括终点成功检测、分级结果判断和未来失败预警。前两者评价已发生的事件,后者还需要明确预测时限。 内部监测头可以读取策略特征,可能在场景明显失败前给出预警,却通常与特定策略绑定;外部视觉裁判更易跨策略使用,但受观测限制。 五级结果分数适合区分完成程度,却可能过于粗糙,无法表达相邻帧的小变化。评价应分别检查结果准确率、等级排序、概率校准和报警时间,不能把终点表现直接理解成过程监控能力。
进度需要一个锚:目标图像、参考示范、时间位置、任务程序或模型生成的剩余动作。不同锚会在绕行、重抓和失败时产生不同反应。 目标表征距离可能把必要后退当成退步;时间监督可能无论是否真正推进任务都持续加分;程序推理可以考虑阶段,却可能为错误程序生成平滑分数。 因此,高时间相关性不是进度真实性的充分证据。测试必须包含动作无效果、停滞、重试与已完成条件丢失,使时间和任务状态真正分离。
相对模型直接比较两个状态或候选动作,或者从偏好数据学习单项效用。效用分数主要在训练所定义的比较标准下具有排序含义,不能自动解释为完成百分比。 有符号状态比较可以表达进步和倒退;候选动作比较则服务测试时选择。但best-of-N收益同时受候选池质量影响,必须与相同采样预算、不使用评价器的基线比较。 评价包括成对准确率、平局处理、排序一致性、比较循环,以及对指令改写和候选分布的鲁棒性。
阶段内进度、完成所需时间、后续预期回报都带有时间含义,但并不等价。慢而正确的执行可能剩余时间更多;任务状态相同,换一套后续策略,成功机会与期望回报也可能变化。 已完成条件被破坏时,当前完成度应下降,但若策略有把握恢复,预期回报仍可能较高。必须先声明目标,才能判断某次分数变化是否合理。
图3:左侧RynnValue预测剩余完成时间及相对变化,右侧Robometer通过同一骨干分别输出进度、成功和偏好。输出形式相近不等于语义相同。截取自原文图6与图7,第7页。
混合模型使用多头、组合奖励或结构化过程裁判,同时回答多个问题。它们可以输出进度、失败原因、时间位置和证据,也可评价生成机器人视频的真实性与任务符合程度。 多输出只有分别通过对应测试、且冲突能够被识别时才增加信息。写得详细的诊断不天然真实,视频逼真也不代表任务成功。
同一类中仍需比较证据范围、骨干与适配方式、监督来源、时间建模和查询协议。提示、帧选择、输出粒度与相机融合方式,都是评价器定义的一部分。 不能因为两个方法使用同一个视觉语言骨干,就把分数差异全部归因于“模型能力”;也不能把不同输入与任务目标下的结果直接排成单一优劣榜。
机器人示范、闭环策略执行、人类视频、模拟数据、合成失败及人工或模型标注,共同构成训练来源。来源决定可覆盖哪些行为边界。 真实失败能提供错误目的地、抓取滑落、恢复和安全问题等细节;模型标注扩大规模,却也可能将教师的盲点带入学生。
标准化时间和帧序监督便宜,但默认任务随时间推进;截断视频教会部分完成,倒放视频教会反向顺序,却不等于真实世界向前发生的退步。 改写指令形成负例,可以训练任务匹配;在同一指令下把物体放到错误位置,则要求更精细的关系判断。阶段、事件、失败原因和约束标签各自提供不同信息,不能期待一种合成变换覆盖所有失败。
回归、对比、排序、词元预测和时序差分等学习工具可以服务多种语义。真正决定输出含义的是监督目标和接口,而非损失函数名称。 数据规模不能自动消除标签假设:更多成功示范可能仍不包含关键失败;与同源视觉语言模型一致,也可能只是继承相同偏差。下游用途还决定时延、校准与错误成本要求。
时间相关衡量时序排序,偏好准确率衡量相对选择,结果准确率衡量事件识别,下游策略分数衡量完整系统效果。指标必须对应声明。 论文比较已有基准在自然失败、退步标签、分级终点、配对视角证据和任务范围变体上的覆盖,指出关键缺口集中在“常见线索与真实任务条件不一致”的执行。新基准正是围绕这些情况构造,而不是简单增加视频规模。
动作—效果对照检查“做了动作但效果未发生”;语义与顺序约束检查对象、目的地、遗漏和前置条件;保持与逆转检查已达成条件后来是否丢失;可见性对照在同次执行上改变相机证据。 前两类考察代理线索是否有效,第三类考察时间有效性,第四类考察证据是否足够。对照要求的是正确排序或拒答,而非强制所有模型输出同一种绝对数值。
图4:动作与效果、语义与顺序约束、保持与逆转、可见性四类对照。分别包含159、290、467和394个视频;这些套件不是互斥分组,数量不应相加为基准总量。截取自原文图8,第11页。
数据来自RoboChallenge Table30及Table30 V2,覆盖52个任务和5种本体,包括ARX-5、UR5、Franka及两种双臂机器人。学习策略在闭环中执行,失败、重试和恢复自然发生。 最多三路相机记录执行。1117个视频由相机视角及任务范围变体组成,不等于1117次彼此独立的物理执行。同次执行的多路视频还可组合成多视角输入。
标注先明确任务单元、对象、目的地和前置条件,再逐帧定位完成、失败、丢失与恢复事件,最后按规则编译成任务状态曲线。 必须持续成立的放置条件被破坏后应撤销分数;仅要求发生一次的动作则按任务规则保留。动作历史与当前状态可能不同,因此作者保留动作累计参考作为对照。 相机证据另分充分、部分与不足。没有任何视角能够确认的效果保持未决,不强行标成成功或失败,也不进入相应状态指标。这一区分避免把“看不见”当作“没完成”。
终点测试在同任务内比较完成程度,检查最高分是否选中最完整执行,以及失败执行是否获得成功水平的分数。密集方向测试检查状态上升和下降,并单列下降精确率、召回率与F1。 配对证据测试固定物理执行,只改变可见相机;范围测试把完整任务改成单对象或局部任务,检查评价器是否理解新的完成条件。 重要对照包括仅按标准化时间打分和始终预测上升。前者不看视频也能获得完美时间相关性,后者利用上升转移占多数的分布。它们用于识别指标捷径,不是可部署奖励模型。
RRM-Hub为14种专门方法提供适配器,保留各自支持的查询、输入和原生输出,按能力分别报告,并保存原始结果。它不要求所有方法进入不适合其语义的测试,也不把所有能力压成一个总分。
研究共涉及27个评价器:14种专门方法对应19个评价器,另有7个通用视觉语言模型和1个决策模型。部分通用模型采用成对观察与完整序列两种协议,部分模型再比较多视角输入,因此表格行数多于评价器数量。 原文中的模型名称、版本和成绩均按本次实验设置理解,不代表对所有版本或所有机器人任务的普遍排名。
较强终点评分已能用于离线选择和过滤:部分评价器在至少约四分之三的同任务比较中,选择最完整执行;某些方法排序后的最高十分之一执行,完整完成比例约为随机选择的两倍。 但这种能力不等于过程可靠。RoboReward可以较好过滤,却很少识别下降;另一些方法在动作无效果或约束错误的失败执行上,仍给予接近成功的分数。 错误目的地尤其困难:物体被成功抓取、运输和释放,看起来像进展,只有对照指令才能发现放错。掉落更显眼,因此“会识别掉落”不能替代语义约束测试。
被测评价器都未可靠覆盖状态下降,表现大致有三类:输出过于粗糙而长期不变;频繁波动产生虚假下降;很少下降因而漏掉真实退步。 例如原文表3中,RoboReward的时间相关指标为0.807,下降F1仅0.072;Robometer对应为0.832和0.214。这些数值说明两种能力可以明显分离,不意味着模型在全部用途上无效。
图5:放书任务中,书架在19.6秒被撞倒,真实任务状态降为零。九个评价器的响应不同,有些仍保持较高分数。该图是一个具体执行案例,不能替代全基准统计。截取自原文图9,第14页。
移除关键证据后,几乎所有被测评价器的方向指标下降;本次被测接口都不能显式报告证据不足。完整序列模型输出近似不变,也可能被隐藏状态方向指标罚错,这说明未观测状态需要独立评价,而不是一律当作失败预测。 为独立相机槽设计的融合接口可以利用补充视角恢复部分证据;简单把多视图拼在同一帧并不保证提升。更换主相机也会改变结果,因此“多相机”不是单独、充分的解决方案。
从成对查询改为序列查询,7个通用视觉语言模型的下降精确率都提高、召回率都下降。成对模式更敏感,也更易误报;序列模式更平滑,也容易漏掉局部变化。上下文长度和输出粒度同时变化,不能把差异仅归因于某一因素。
图6:单视角评价器的传统指标与方向指标。充分视角和证据减少视角在相同转移上比较;不同列代表不同能力,不宜只取一列排列通用优劣。截取自原文表3,第15页。 仅依据时间的对照,其时间相关性达到1,但终点排序与下降识别没有相应能力。原文还指出,约九成转移属于上升,使始终上升的对照在宏平均F1上也超过一半单视角专门评价器。退步类与事件原因必须单独报告。
第一,终点选择与密集反馈不同;第二,执行程序推进与当前任务成立不同;第三,证据是否存在与评价器是否善用证据不同。 因此应根据用途选择模型,并检验它在该用途上的误差,而不是从统一排行榜直接推导部署能力。本研究主要是离线视频评价,也不能直接证明某个奖励在持续闭环优化下不会被利用。
训练应包含真实掉落、错误目的地、释放失败、失去已完成条件和恢复,而不只依赖倒放或截断视频。带符号进度、事件原因和约束标签分别补充不同监督。 收益应体现为更高的对应事件下降召回,同时不增加正常进展中的虚假下降,不能只看总体分数上涨。
目标说明很少完整写出所有阶段和条件。需要将物理状态变化与对象、目的地、前置顺序及后置条件结合,区分靠近、运输、释放和真正完成。 显式生成阶段本身仍可能错误;更有力的检验是,在保持终点排序能力的同时,降低对错误操作的记分。
把局部比较放入长时上下文,可能兼顾成对查询的敏感性与序列查询的精确性。帧选择、提示和输出格式应完整公开,连续校准输出也可能减少粗等级造成的漏检。
评价器需要三种能力:明确返回证据不足,让置信度随证据减少而下降,以及主动选择或请求关键视角。拒答不是低分,也不是失败。 可变相机训练和缺失视角标签提供了测量基础,但还需检验主相机鲁棒性、多视角融合是否优于单视角投票,以及无法判断时是否真的停止给出确定结论。
时间相关与终点排序应保留各自用途,同时加入时间基线、始终上升基线、退步类别和事件级撤分测试。样本应包含失败、部分完成与完成后丢失,而不是只有平滑成功示范。 证据不足场景应有自己的正确输出与评分,避免惩罚合理拒答。基准中的特定平台、任务结构和可见状态也限制了结论外推,触觉和力等未被摄像头呈现的信息不能凭空补足。
选择与数据过滤主要需要执行排序;监测需要及时发现失败;恢复需要估计可恢复性;调度关注剩余时间;强化学习塑形则对奖励施加更强优化压力。 对同一分数的要求随使用方式变化。离线排序有效,不代表安全驱动任意策略优化。研究应先测候选选择、已知坏行为拒绝和受控更新,再进行完整策略优化,并满足实际控制时限。
基础模型时代的“机器人奖励”并不是一种量,而是一组评价问题。五类语义帮助明确输出目标,RRM-Bench-1K则把任务状态与动作、时间、外观和视角线索分离。 现有强模型已能支持一些终点选择与过滤,但密集反馈、语义约束和证据不足识别仍有明显缺口。前进路径不仅是扩大参数,还包括真实失败监督、结构化任务规格、证据感知接口,以及与实际决策匹配的评价。 部署奖励模型前,应先问:它给什么记分,凭什么证据,以及这份可靠性是否足以支撑接下来的决策。
原文题目:Robotic Reward Models in the Foundation-Model Era: A Survey and Capability Benchmark 论文页面:https://arxiv.org/abs/2611.20741 PDF全文:https://arxiv.org/pdf/2611.20741