综述 | 机器人策略验证器：为什么没有免费的检查器

论文首页与总览图。本文系统梳理机器人策略验证器，核心结论是：验证信号越便宜、越早到达、越容易密集查询，其与真实任务成功之间的可信连接通常越需要额外证明。

导读

机器人基础模型正在从“能执行单个指令”走向“能在开放环境中持续行动”。但机器人和纯文本智能体有一个关键差异：代码可以跑测试，数学题可以验答案，而物理世界中的机器人行为往往没有一个便宜、明确、随时可问的裁判。机器人是否真的完成任务，可能需要真实硬件试验、人类观察、传感器判定、形式化约束、奖励模型或世界模型模拟来判断。 这篇综述《No Free Checker: A Survey of Verifiers for Robot Policies》聚焦的正是这个裁判问题。作者把“验证器”定义为读取候选机器人行为并返回分数的机制。这个分数既可以用于评估策略，也可以进入训练流程，成为数据筛选、奖励建模、推理时动作选择、安全过滤和运行时监控的核心信号。 论文梳理约 150 篇相关工作，并用两个坐标理解整个领域：可用性和可信性。可用性指一个判断有多便宜、来得多早、能否高频查询；可信性指一个高分到底有多能说明真实任务完成。作者的核心判断很直接：四类验证器之间存在系统性取舍。人类和显式规则更接近任务意图，但成本高、覆盖有限；学习模型和模型内生信号更便宜、更密集，却更容易受到分布偏移、校准不足和奖励黑客影响。因此，机器人学习里没有“免费的检查器”。

Introduction | 引言

验证器为何成为机器人学习瓶颈

视觉语言动作策略和机器人世界模型正在快速扩展，训练数据规模、模型能力和任务范围都在增长。但规模化并不能自动解决“行为是否正确”的问题。机器人学习需要在多个环节使用验证信号：预训练前筛选和重加权示教数据，后训练阶段提供奖励，推理时对候选动作排序，用世界模型生成的轨迹评估策略表现，以及在运行时发现失败或安全风险。 论文将机器人验证器抽象为一个映射：给定上下文和候选对象，输出一个分数。上下文可以包括观测、目标和语言指令；候选对象可以是一段动作、一个子任务片段、一条完整轨迹，甚至是一整个策略；输出可以是布尔值、标量、向量或概率分布。 机器人验证难，首先是因为物理任务的完成状态很难便宜地确认。传感器不完美，真实机器人试验成本高，某些错误动作一旦发生就可能造成失败或损坏，而任务质量又常常不是简单的成功与失败。例如，机器人把杯子放到桌上也许“成功”，但过程是否稳定、是否安全、是否靠近边缘、是否符合人类意图，都需要更细粒度判断。 代表性系统按判断来源和年份分布。论文把验证器按判断来源分为人类、规则与形式化、训练模型、免训练模型和模型内生信号，并显示近几年学习型与模型内生验证器增长明显。

两个坐标

论文用可用性和可信性描述验证器的取舍。可用性包含三个问题：一次判断要花多少成本，判断能在任务执行的哪个阶段给出，以及能否对大量状态、动作或轨迹高频查询。一个可以在每个时间步输出分数的模型，显然比需要人类看完整视频后打分的方式更“可用”。 可信性则关心另一个问题：高分是否真的意味着任务完成得好。人类反馈通常更接近任务意图，但昂贵且不完全一致；规则和形式化约束可重复，甚至能给出强保证，但前提是规则、状态估计和动力学假设准确；学习型验证器可扩展，但依赖训练数据、泛化和校准；模型内生信号最便宜，因为来自策略或世界模型自身，却最容易只反映模型自己的不确定性或偏好。

Human Verifiers | 人类验证器

比较、打分与接管

人类验证器让人直接观察机器人行为，并判断它是否更好、更安全或更接近任务目标。论文把人类参与分成四种角色：比较两条轨迹，给单条轨迹打分，在执行时接管，以及验证生成轨迹是否保留真实执行结果。 轨迹比较常用于偏好学习：人类看到两段行为，选择哪一段更好，系统再训练奖励模型或直接形成策略排名。它的优点是人类不必定义绝对分数，只需做相对选择；缺点是标签成本高，且比较结果受展示方式和任务理解影响。 轨迹打分要求人类对单条轨迹给出标量或时间序列反馈。例如奖励草图让标注者沿时间轴画出任务进展曲线，随后用少量人类曲线训练稠密奖励模型。这比单个成功标签更细，但也更耗时。 执行接管则发生在机器人运行过程中。人类监督者在危险或低质量状态中停止自动控制，并给出纠正动作。这类信号同时具有安全作用和训练作用：它能阻止坏动作继续发生，也能把困难状态变成高价值示教样本。为了降低持续监控成本，一些方法进一步训练机器人自己判断何时请求帮助。

人类验证器的四种角色。人可以比较轨迹、给轨迹进展打分、在执行中接管，也可以验证世界模型生成的轨迹是否保持真实执行结果。

人类标签的价值与限制

人类判断最大的价值在于它最接近任务意图，也是许多廉价验证器的训练来源。学习型奖励模型、偏好模型和运行时监控器，往往都需要人类标签作为参照。但人类并不是完美金标准。不同标注者可能不一致，任务描述可能含糊，视频观察也可能漏掉关键物理状态。 因此，人类验证器更像是一种高可信但低可用的参照物。它适合用于小规模校准、基准构建、偏好监督和系统审计，却难以承担大规模训练中每一步、每条轨迹、每个候选动作的密集评分。

Rule-Based and Formal Verifiers | 规则与形式化验证器

全轨迹验证

规则与形式化验证器把判断写成预定义标准，例如任务谓词、时序逻辑、几何相似度、可执行代码、安全约束或可达性证书。全轨迹验证读取完整轨迹，并判断轨迹是否满足某种规则。时序逻辑可以表达“始终保持安全距离”“最终到达目标区域”“在打开抽屉前先抓住把手”等约束；几何评分可以比较轨迹形状与示教轨迹的相似性；模型生成代码则让语言模型把任务说明转化为可运行检查器。 这类方法的优势是可重复、成本低、容易自动化。一旦状态信息和规则确定，系统可以大量查询同一个判定器。但问题也在这里：规则只验证它写出来的东西。如果谓词遗漏了真实任务的关键条件，或者状态估计不准，机器人可能拿到高分却没有真正完成任务。

终态与物理约束

终态验证只看最后状态是否满足目标谓词，常用于基准评估、数据生成过滤和稀疏奖励。它非常高效，适合大规模自动评估，但对过程质量不敏感。机器人可能最终把物体放到目标区域，却在过程中碰撞、损坏物体或使用不合适动作。 物理约束验证进一步关注安全集、动力学模型和可行性条件。例如控制屏障函数可以证明轨迹保持在安全集合内，符号可行性检查可以在执行前排除不可行计划。这类方法可信性强，甚至可能给出形式化保证，但它们依赖准确的模型、状态和任务边界；开放世界中的感知误差、未建模接触和复杂物体交互会削弱保证。 规则与形式化验证器概览。全轨迹方法用时序逻辑、轨迹几何或代码规则评分；终态方法检查最终状态是否满足目标；物理约束方法通过证书、可行性和安全集合验证行为。

写清规则并不等于完成任务

规则验证器的核心风险是规格错配。它们可以很可靠地执行一个错误标准，也可能鼓励策略钻规则空子。例如只检查杯子是否到达目标点，可能忽略杯子是否倾倒；只检查碰撞距离，可能忽略任务效率和自然性。论文因此强调，规则的可信性不是来自“规则存在”，而是来自规则是否准确覆盖任务、状态估计是否可靠、以及验证器是否在实际部署分布上被测试。

Learned and Pretrained Verifiers | 学习型与预训练验证器

行为与策略评估

学习型与预训练验证器由神经模型产生判断，可以是专门训练的奖励模型、成功检测器、视觉语言模型、过程奖励模型，也可以是不需要任务特定训练的通用模型。它们最突出的优点是便宜、稠密、跨任务。模型可以对视频帧、轨迹片段、完整轨迹或策略表现输出分数，帮助系统从二值成功率走向更细的过程评价。 过程级验证器关注执行中的局部进展，例如某一时间段是否朝目标推进；轨迹级验证器则对完整执行给出成功、失败或质量分数。前者适合训练稠密奖励和在线纠偏，后者适合策略评估和基准排名。

推理时验证

在推理阶段，验证器可以参与候选动作选择。直接选择方法会生成多个候选动作或动作块，然后由验证器排序，选择分数最高者执行。预测前瞻方法则先借助世界模型模拟候选动作的未来结果，再由验证器判断哪条未来更可能成功。 这种做法可以提升策略稳健性，因为策略不必一次性相信第一个动作输出，而是可以“想几个方案再选”。但它也会放大验证器偏差：如果验证器偏好某些表面特征，推理时搜索会主动寻找能骗过验证器的候选，而不一定寻找真正完成任务的候选。 学习型与预训练验证器在机器人学习中的三类用法。它们既可评估行为和策略，也可在推理时选择候选动作，还可把反馈写入奖励优化、自我改进和离线数据筛选。

反馈进入策略学习

当验证器进入训练循环，它的影响更大。它可以作为奖励优化的目标，也可以决定哪些在线轨迹重新进入训练集，还可以在离线语料中筛选或重加权示教数据。此时验证器不只是评估工具，而是在塑造策略会学成什么样。 这也带来更强的可信性要求。用于数据清洗的验证器可以容忍一定平均误差，但用于训练奖励的验证器必须经得起优化。因为策略会沿着奖励上升方向移动，一旦验证器存在可利用漏洞，训练就会把策略推向那些“分数高但任务差”的区域。

Model-Intrinsic Verifiers | 模型内生验证器

策略自检

模型内生验证器不依赖外部裁判，而是利用策略或世界模型已经计算出的信号，例如动作不确定性、内部表征、训练与推理相似度、轨迹似然、潜空间差异、可达性值或后悔值。它们的可用性最高，因为几乎不需要额外标注或额外模型。 策略自检方法用策略自身的信号检测失败或选择动作。如果模型对当前状态不确定，或者输出动作与训练分布差异大，系统可以请求人工帮助、触发安全过滤，或在多个候选中选择更可靠的一个。

预测与任务选择

预测型结果验证器利用世界模型模拟未来，再根据轨迹似然、预测不确定性或可达性判断结果是否可信。它不直接问“任务是否成功”，而是问“这个未来是否符合模型对世界的预期”。这在缺少外部验证器时很有用，但也存在自我确认风险：如果世界模型本身错了，验证器可能只是确认了模型自己的错误想象。 任务选择则把内生分数用于决定下一步训练什么。系统可以优先选择价值损失高、后悔值大或模型不确定的环境，提升数据效率。但这类分数说明的是模型学习状态，而不是外部任务质量，因此必须谨慎解释。 模型内生验证器概览。策略自检、预测型结果验证和任务选择都使用机器人自身策略或世界模型产生的信号，因此成本最低，但与真实任务表现之间的关系最间接。

最便宜的信号也最需要审计

模型内生信号的诱惑很强：它们无需人类标签，不必写复杂规则，也不一定需要训练额外验证模型。但论文提醒，这类信号衡量的首先是模型本身。例如低不确定性不等于真实安全，高似然不等于任务成功，高可达性也不一定代表执行质量。越靠近模型内部，验证信号越容易获得，也越需要独立证据证明它真的对应外部世界。

Validating the Verifier | 验证器的验证

固定轨迹上的一致性

论文后半部分讨论一个容易被忽视的问题：验证器本身如何被验证。第一种常见方式是在固定轨迹集合上测量它与人类标签或基准标签的一致性。这可以给出准确率、错误率、相关性或排序一致性，是验证器论文最常见的证据。 但固定集合测量有局限。首先，标签本身可能有误差，标注者之间的一致性也需要报告。其次，轨迹类型很重要：遥操作轨迹、脚本轨迹、策略采样轨迹和世界模型生成轨迹分布不同。一个验证器在普通轨迹上准确，不代表它能准确评价由自己筛选或由策略优化后产生的轨迹。

用训练出的策略衡量

第二种方式是看验证器训练出的策略是否更好。对于数据筛选、奖励学习和自我改进来说，这比固定集合准确率更接近最终目标。一个验证器即使与人类标签略有偏差，只要能稳定训练出更强策略，仍可能有实际价值。 问题是这种测量昂贵。它需要完整训练、真实或高质量模拟评估，并且很难把提升归因给验证器本身。更关键的是，一致性分数和下游策略增益可能不一致：验证器在普通样本上看起来准确，却可能在训练过程中把策略推向自己判断失真的区域。

优化压力下的可靠性

第三种也是最关键的验证，是看验证器在被优化时会不会失真。奖励黑客正是这种失败：策略找到了让验证器高分的行为，却没有真正完成任务。语言模型领域已经有大量关于奖励模型被优化后失真的研究，但机器人领域还缺少共享基准来系统测量验证器的可利用漏洞。 论文建议，可以用“训练验证器”和“未参与训练的验证器面板”双重评分来审计。如果一个策略真的变好，它应该同时通过训练用验证器和独立面板；如果它只是学会讨好训练验证器，那么训练分数上升，独立面板分数不会同步上升，甚至会下降。 验证器声明可比较所需的九项指标。用于筛选和排序的分数需要报告独立轨迹数、错误类型、轨迹类型、人类一致性、校准和跨本体迁移；用于训练奖励和运行时门控的分数还需报告真实可迁移增益、训练过程中的错误变化和搜索下的误接收。

九项指标

论文最后给出九项指标，让不同验证器声明更可比较。用于数据筛选和策略排序的验证器，应报告每个条件下的独立轨迹数、假阳性和假阴性、被评分轨迹的来源、与人类标签的一致性、连续分数的校准，以及跨机器人本体迁移误差。用于奖励训练和运行时门控的验证器，还应报告代理增益中有多少被独立面板确认、训练前后验证器错误如何变化，以及通过搜索能找到多少验证器误接收的候选。 这些指标背后的思想很清楚：不要只报告一个平均准确率。要说明验证器在哪些数据上测过、错在哪里、是否校准、是否跨机器人泛化，以及当策略开始优化它时，它是否仍然可靠。

Conclusion | 结论

主要结论

这篇综述的中心观点可以概括为一句话：机器人学习没有免费的检查器。验证器决定策略学什么，也决定我们报告的性能分数意味着什么。人类验证器最接近任务意图，但昂贵且稀疏；规则与形式化验证器便宜、可重复，并可能给出强保证，但只在规则和状态估计覆盖真实任务时可信；学习型与预训练验证器可扩展、可密集查询，却依赖数据、泛化和校准；模型内生验证器成本最低，但它们描述的是模型自身，而不是外部任务本身。

对后续研究的启示

未来机器人验证器的关键不只是构造更强分数函数，而是把可用性和可信性一起报告清楚。研究者需要说明判断来源是谁，分数声称了什么，判断成本和延迟是多少，能否密集查询，是否与人类标签一致，是否校准，是否跨环境和机器人泛化，以及是否在被策略优化后仍保持可靠。 对于机器人基础模型时代，这一点尤其重要。随着策略训练越来越依赖自动奖励、世界模型和推理时搜索，验证器不再是评估末端的小工具，而会成为训练系统的一部分。验证器越强，越可能放大能力；验证器越不可靠，也越可能把系统推向高分低能、甚至高分危险的行为。真正值得追求的，不是看似免费的自动检查器，而是能说明自己边界、能被独立审计、能在优化压力下仍保持可信的验证体系。