导读

机器人能自主执行任务，但失败诊断、数据收集、代码修复、训练方法和版本选择仍大量依赖人。上海交通大学、加州大学伯克利分校等机构的研究者提出：自主性不仅是完成任务，还应包括改进自身能力，以及产生这些能力的方法。 论文围绕“物理递归自我改进”建立L0—L5分析框架，区分能力更新与改进机制更新、同任务收益与跨任务收益，并梳理模型外运行框架适应、模型训练、安全控制和独立评估。最重要的结论是：按照本文的严格定义，所考察文献尚未充分证明物理递归自我改进。 机器人表现越来越好，并不自动意味着它已经越来越擅长改进自己。 本文是综述与框架论文，未报告已实现L5的新系统，也没有新统一实验。下文沿用原文八章结构，解释更新、继承、归因与安全验证。 论文信息

英文题目 Who Improves the Robot? Toward Physical Recursive Self-Improvement 作者 Hai Zhou、Fan Yang、Zeyi Chen、Lejun Zhang、Chenyang Fu等30位作者；前五位为共同第一作者。通讯作者为Weinan Zhang、Qian Feng、Shangding Gu。 版本 arXiv v1，提交日期2026年10月13日。原文55页，包含正文与参考文献；arXiv页面未注明会议接收信息。 论文主页 https://arxiv.org/abs/2610.18842 全文下载 https://arxiv.org/pdf/2610.18842 配套资源 https://github.com/SAIL-Research-Lab/Physical-RSI

1 Introduction｜引言

机器人的执行自主性与改进自主性是两回事。一个机器人可以自主搬运、抓取或整理，却仍需要人来收集和筛选经验、诊断陌生失败、演示修复动作、设计训练流程并挑选更新版本。执行能力的提高，不代表这些幕后步骤已经自主化。 普通自我改进主要改变“执行任务时使用什么”：例如增加技能、修改提示、更新策略参数。递归自我改进更进一步，改变“以后如何产生、测试和选择这些变化”。只有新的改进程序在受控条件下比旧程序产生更有效的后续改进，才构成递归收益证据。 这一问题在物理世界尤其困难。机器人只获得局部且有噪声的观测，需要在连续动力学和实时约束下行动；试验、复位与重复评估昂贵，设备可能磨损或损坏，一些后果无法撤销。软件环境中的低成本试错，不能直接移植到与人共享空间的机器人上。 作者因此提出专门的物理递归自我改进框架：机器人利用物理交互证据，持续更新任务执行系统与改进程序，让后续改进更有效。论文贡献不在于宣布这一目标已实现，而在于给出分级标准、组织已有方法、明确安全约束，并揭示证据缺口。

图1：物理递归自我改进的总体架构与L0—L5分类。执行系统产生物理交互经验，改进程序更新运行框架与模型，并验证候选更新；独立评估器位于改进程序之外。来源：原论文图1，PDF第4页。

2 Foundations of Physical Recursive Self-Improvement｜物理递归自我改进的基础

2.1 定义与范围

框架首先划分四类系统对象。任务执行系统由模型外运行框架和参数化模型组成。运行框架包括提示、记忆、技能库、工具、任务分解、恢复逻辑，以及接口和控制器代码；模型包括规划器、视觉—语言—动作策略，以及执行时使用的价值函数或世界模型。 改进程序包含框架适应、模型训练和内部验证三个阶段，分别负责修改运行框架、选择经验并优化模型、判断候选变化是否保留。它也可以修改自己的阶段。经验与反馈库记录执行轨迹及改进历史；它与执行时使用的记忆不同，后者是从经验中提炼出来的可调用资源。 独立评估器使用改进程序不能读取、训练或修改的测试任务与评分准则，评价更新后的执行系统，也评价内部验证程序的修改。否则，一个验证器可能通过放宽自身标准“证明”自己更好，而机器人实际能力没有提高。 物理自我改进要求：系统自主产生并保留至少一项能力更新；支持收益的变化具有物理依据；最终能力在独立评价中优于初始版本。物理递归自我改进还要求自主保留改进程序的更新，并证明跨任务的递归收益：从相同系统版本、相同经验出发，在相同预算下，新程序产生的执行系统优于前一程序产生的系统。

“保留”意味着更新超出当前回合，成为后续版本的起点，而非本次任务结束即丢弃。“物理依据”可以来自真机或物理仿真中的动作结果；只依赖学习到的世界模型想象、语言判断或内部信号，则不足以单独满足该条件。物理仿真仍存在仿真到现实的差距，不能据此推导真机安全。 持续学习提供跨任务知识保持，但通常使用固定更新规则；自动机器学习搜索训练配置，不一定继承此前系统；一般递归自我改进框架多侧重数字环境。物理递归自我改进把自主继承、机制更新、跨任务受控收益和物理依据放到同一判断中。

2.2 系统架构与改进循环

执行循环用当前模型和运行框架产生动作，把轨迹写入经验库。重新规划或纠正当前动作，只改善本次执行，不一定留下可继承变化。 能力更新循环读取经验，修改技能、记忆或模型，经过内部验证后保留，效果体现在后续任务。例如把成功轨迹变成可复用技能，或者用新的交互数据微调策略。 元更新循环修改改进程序本身，例如先定位失败模块再修改提示、在模仿学习停滞时调整训练方法，或改变候选筛选机制。修改框架适应和训练阶段，可由内部验证程序检查；修改验证程序，则需要外部评估，因为它不能独自裁定自己的标准是否更可靠。 两条路径彼此影响：新增技能会改变训练轨迹的分布，模型能力提升又会改变哪些框架修改值得尝试。安全也不只是在最终版本上检查一次，而应约束执行、能力更新和元更新三个循环。

2.3 六级框架与证据标准

图2：能力更新与元更新的对象，以及同任务和跨任务的区别。只改变抓取位置可能仍是同任务；加入开门技能，或改变已有技能的执行顺序，则可构成不同任务。来源：原论文图2，PDF第9页。 级别由更新对象和收益范围共同决定，不能只按“自动化程度”排成单一阶梯。

• L0：未形成自主、可保留的改进闭环。 仅在执行中调整，或改进仍依赖人的干预、标注或版本选择，归入这一参照组。
• L1：同任务能力更新。 改进规则固定，自主更新执行系统，并在同一任务上留下收益。
• L2：同任务元更新。 在同任务范围内，自主修改并继承改进程序。
• L3：跨任务能力更新。 保留的能力变化支持不同任务，改进规则仍可固定。
• L4：跨任务元更新。 改进程序自身的保留变化产生跨任务收益。
• L5：独立验证的递归收益。 在L4基础上，逐次比较新旧改进程序，证明新程序在匹配起点、经验及预算下产生更好的后续改进。

任务身份以所需技能序列为核心。杯子位置变化、场景难度变化但技能序列不变，仍可能是同任务；新增技能或已有技能的新组合、顺序，才支持跨任务判断。仿真与真机记录为证据来源，不自动改变任务身份。 组件归属也取决于用途，而不是名称：执行时使用的世界模型属于执行系统，仅用于训练环境的世界模型属于改进程序。按固定规则反复训练奖励分类器或价值网络，也不自动构成元更新；必须改变并保留目标、更新规则、课程或选择机制等程序本身。 例如Eureka分别为29个任务优化奖励，数量多不等于保留同一改进机制并实现跨任务递归收益。ASPIRE把短程任务获得的技能库用于未见长程组合，则提供跨任务证据，但这仍不同于证明L5。级别是针对具体工作流和证据的分类，不是给某个方法名称贴永久标签。

3 Harness Adaptation of Physical RSI｜模型外运行框架的适应

3.1 反馈解释与更新目标识别

运行框架适应首先要回答“失败发生在哪里”。视觉关键帧、力和接触信号、调用日志、工作流节点记录，以及成功和失败尝试的对照，帮助提出原因假设；此前修改历史还能提示哪些问题反复出现。 诊断必须落实到可编辑组件：是指令错误，还是未遵循正确指令？是推理不足，还是感知工具缺失？需要修改技能代码、接口、参数暴露、记忆还是调用顺序？随后应限定修改范围和适用条件，区分局部修复与可广泛复用的更新。 论文以ASPIRE、HarnessPAI等机器人工作，以及ExpeL、AutoGuide、HarnessFix等数字智能体方法梳理这一过程。数字方法提供可借鉴的诊断和修改机制，不应被误写为已证明真机递归改进的证据。

3.2 记忆、技能与工作流适应

图3：运行框架适应的完整链路。诊断限定修改范围，候选变化涉及记忆、技能、共享实现和工作流，随后验证目标效果与既有能力，并在后续使用中监测。来源：原论文图5，PDF第14页。 记忆更新不只是增加反思文本，还包括组织适用上下文、更新过时规则和检验物理解释。PhysMem从交互构建假设并验证适用性；KnowBody更新与动作相关的身体关系，再检查依赖这些关系的知识。 技能更新可以修复已有程序、调整接口，或从成功解法提炼新技能。ASPIRE依据基本操作的反馈修复机器人程序；ViReSkill保存成功计划与控制代码供后续复用。新增资源必须能真正进入之后的执行，而不只是被记录下来。 协调更新处理共享函数与调用者的依赖。引入公共技能后，需要同步调整使用它的程序；删除冗余或失效抽象，也应检查依赖关系。否则，局部修复可能造成其他任务回归。 工作流更新改变技能何时被调用、如何交接、如何推进子目标，以及如何恢复和停止。它与本次任务临时重新规划不同：被采纳的规则必须用于后续执行。BATON强调调用和交接条件，RoboFoundry则持续调整阶段处理、子目标构造和重新规划节奏。

3.3 采纳机制与改进历史

候选更新要检查预期效果以及对既有能力的影响。对失败案例重跑可以验证修复，对共享函数及其调用者测试可以发现回归；只有被接受并进入后续执行的变化，才构成继承。 采纳也不是永久有效。后续交互可能削弱某个物理解释的可信度，身体估计变化可能使依赖规则失效，需要重新验证或暂停使用。 改进历史应同时保留成功和失败尝试，包括原始观测、修改对象、差异、理由、验证结果与采纳决定。被拒绝的更新同样能为下一次诊断提供信息。记录“哪个方法产生了什么修改”，还为进一步改进修改方法本身提供依据。

3.4 框架适应机制的元改进

能力更新修改技能库或记忆内容，元改进则修改产生这些资源的方法。例如调整诊断策略、记忆构建操作、候选生成指令或优化器侧程序，让之后的框架修复更加有效。 STOP、Hyperagents等数字系统展示可编辑改进程序；Promptbreeder、MemSkill等方法分别关注生成指令或记忆构造方式。它们为物理场景提供方法启发，但证据来源仍需区分。 一个新方法不能只凭“生成了不同修改”被判更好。应比较新旧方法在相同起点、经验与资源下产生的后续更新，检查收益与成本，并在采纳后确认新方法实际主导之后的改进。如果运行组件和适应方法同时变化，就更需要拆分归因；程序演化也不保证每种设置都有效。

4 Model Training of Physical RSI｜模型训练

图4：模型学习路径。环境生成与数据选择组织物理经验，通过模仿、自监督或强化学习更新执行模型；机制更新进一步改变课程、采样、目标、奖励与训练流程。两类更新均需验证后采纳。来源：原论文图8，PDF第17页。

4.1 数据准备

数据准备把经验生成和学习选择联系起来。真机练习可针对薄弱能力，仿真生成器可扩展任务、场景、奖励和难度，真实场景重建则为仿真到部署提供空间上下文。选择机制决定哪些成功轨迹用于模仿，哪些失败用于价值学习或恢复，以及下一次应采集哪些状态。 共享控制、主动求助和纠正示范能够提高学习效率，但若保留更新依赖关键人工纠正，按本框架不能据此主张自主改进。数据量增加也不自动代表机制进步；只有采样器、课程生成器或选择规则被修改并用于后续学习，才可能支持元更新判断。

4.2 训练方法

模仿学习从示范、教师目标或经验证的自主轨迹学习动作。行为克隆、扩散与流匹配式动作生成、策略蒸馏等都可构成能力更新途径。修改学习目标则可能涉及机制层面，但具有物理依据、可持续继承的相关证据仍有限。 自监督学习从观测和轨迹结构构造训练信号，包括重建、潜在动作和动力学预测。更新世界模型可为之后的策略训练生成想象轨迹；执行时快速权重适应也能改变当前上下文，但是否成为可保留更新，需要另行判断。搜索自监督目标的数字方法本身，不等于形成机器人物理改进闭环。 强化学习以交互结果指导策略或价值更新，也可在冻结策略外训练轻量控制器。奖励代码、训练分布和更新规则都可能成为机制修改对象。关键区别是：按既定算法学习参数，还是自主改变并保留之后学习所用的算法或规则。

4.3 学习模型

视觉—语言—动作模型把多模态观测和指令转为机器人动作。更新可以作用于动作头、适配器、骨干或整个模型，也可以保持基础模型冻结，仅训练外部控制器。能力增长应归因到真正发生改变的组件。 世界模型预测动作条件下的未来状态，用于规划、动作选择或想象训练。冻结模型支持重复优化，与新物理轨迹持续更新预测器，是两种不同路径。预测画面逼真不等于接触、动力学和动作结果准确；执行与训练中的用途，也决定其在框架中的归属。 奖励模型评价进度、成功或行为质量。它可以固定，为策略学习提供信号；也可以随反馈更新，并重新给历史数据评分。奖励估计改变会影响之后的训练，但按固定规则重拟合估计器，仍不能直接证明改进程序得到元更新。

4.4 知识迁移与训练程序改进

跨任务迁移可以复用策略初始化、技能模块、动作表示、专家路由或控制器组合；回放、模块化适应和参数合并有助于保持旧能力。需要证明源任务保留的变化确实被目标任务使用并贡献收益，而不是把不同任务各自重训后合并报告。 数据准备机制可以依据学习反馈调整示范选择、数据混合比例、仿真分布和采集重点。训练机制则可修改奖励代码、更新规则、训练配方或实验组织方式。元更新不仅要发生，还要被保留并用于后续训练。 物理反馈指导并继承的机制修改，可以在同任务或跨任务范围支持L2、L4判断；L5还必须控制起始能力、经验和预算，证明新机制比旧机制产生更有效的后续改进。更多数据、更强初始模型或额外算力，不能替代这一比较。

5 Safety and Control of Physical RSI｜安全与控制

图5：贯穿改进循环的安全与控制。系统更新与环境漂移要求重新审查探索、迁移和运行保障；采纳决定是否继承，部署授权决定允许在哪些物理条件下运行。来源：原论文图9，PDF第21页。

5.1 安全探索与持续适应

训练结束后的安全策略，不代表收集经验时没有造成风险。安全强化学习可约束预期成本，但平均成本受控仍可能允许个别危险事件，而且约束是否有意义取决于成本是否真实表达物理危害。 保持任务性能也不等于保持安全。旧场景和当前场景应分别检查，历史安全标签要结合现有动力学和传感条件重审。参数保持或防遗忘机制，并不能自动维护所有安全属性。 安全探索可以限制在已有证据支持的区域，检查可达性、返回路径和控制稳定性。不过系统更新或环境漂移可能破坏其假设，安全区域可能需要缩小；如果没有可证明支持安全继续的试验，物理探索应暂停。

5.2 安全迁移与更新接受

能力迁移不意味着安全证据同步迁移。新编码器可能破坏状态映射，新接口可能让备用控制器的动作失效，即便任务所需技能没有变化，也需要重新检查。 这里必须区分三件事：内部接受决定候选是否被继承；独立评价判断它是否真的改善能力；部署授权决定在什么条件和保障下允许物理运行。高于一个不安全基线的成绩，也不足以证明安全。 部署评估应覆盖策略、观测处理、动作接口、监测器和备用控制器的完整组合，并检查传感误差、执行器限制、控制时序与交接状态。模拟反馈满足物理依据定义，不意味着仅凭模拟即可批准真机部署。

5.3 环境漂移下的运行保障

控制屏障函数、可达性方法、预测式动作过滤和安全屏蔽，可以限制动作或切换备用控制器，但保证依赖有效模型、不确定性界和控制可行性。部署时去掉过滤器，也就失去其直接执行约束。 失败预测只提供预警，不自动保证干预安全。例如校准误报率，不代表保证漏检率或恢复成功。策略和编码器更新后，监测器的输入分布也可能变化，需要重新校准；单纯提高报警阈值以减少干预，可能掩盖风险。 日志必须区分提出的动作与实际执行动作，防止频繁安全纠正把不安全策略包装成成功。恢复还需要可恢复状态及有效控制器：退回旧策略不能逆转机械故障或摩擦变化。检测误差、响应时延与恢复可行性应联合检查。

5.4 对演化中改进程序的监督

改进程序会决定之后尝试什么、怎样解释干预、接受哪些更新，因此其安全评价不能只看最终策略，还应看产生该策略的试验过程及后继系统。 内部验证器不能自行放宽受保护的安全要求，也不能仅用自己修订后的标准评价自己。修改验证器，应由外部评估比较不同验证程序保留的系统。已有形式化结果只覆盖特定结构化更新，不能泛化到任意自修改代码。 当程序读取外部日志或修改代码时，外部内容也不应获得关闭停止机制或改写安全要求的权限。人的紧急停止、操作授权、训练纠正和版本选择必须分别记录：保留人类安全控制，不等于把人工驱动的学习算作自主继承。

5.5 跨代安全证据

每一代系统都应关联版本、物理条件、干预记录和结果，以检查旧证据的假设是否仍有效。单轮风险界不是终身安全保证；在每轮界对自适应过程仍有效时，多轮违规概率可用各轮风险界之和上界，风险仍会累积。 被拒绝试验、恢复和复位同样产生物理暴露，硬件磨损还会改变后续条件。开发新改进程序期间的风险，与之后使用它的风险，应分别记账。 错误接受更新和实际物理损害也是不同事件。反复用测试反馈挑选候选，会产生自适应选择偏差；即使测试任务与评分代码不被直接读取，也不保证最终证据独立，需要新测试或相应统计校正。 安全评估应报告违规频率与严重程度、险情、漏检、响应时延和恢复成功率，并覆盖更新后即时表现及旧条件复测。安全运行与递归收益需要两套相互兼容但不可替代的证据。

6 Verification and Evaluation of Physical RSI｜验证与评估

图6：候选更新的内部验证与外部评价。实施有效性、修复效果和能力保持检查支持采纳；独立评估器检验实际物理结果，并为验证程序自身更新提供元验证。来源：原论文图10，PDF第26页。

6.1 候选更新的验证

内部验证包含三个基础层次：语法、接口和输出格式等实施有效性；在匹配失败案例上重执行的修复有效性；复测既有成功任务和依赖知识的能力保持。能运行不等于解决问题，解决原案例也不等于不会损害其他任务。 当验证程序本身变化时，接受数量变多不代表验证质量提高。需要用相同外部任务和评分准则，评价新旧验证程序之后保留的系统。候选阶段的开发证据，不能直接替代保护起来的独立结果评价。

6.2 改进结果的评估

性能与保持。 比较更新前后以及多轮版本，检查收益是否累积、保持或暂时下降，使用未参与调试和候选选择的初始条件测试。 归因与迁移。 匹配初始数据、模型、训练配方和轨迹预算，通过冻结部分组件、空技能库基线或版本消融，分离框架、模型和程序的贡献；迁移测试应按技能序列确认任务真正变化。 效率与自主性。 除任务成功，还报告机器人时间、GPU时间、词元消耗、数据准备、训练、复位和达到目标的成本，明确人的设置、纠正、接管及版本选择。关闭评估时的人工帮助，不能证明改进阶段没有依赖人。 递归收益的关键对照。 不应直接比较第几代系统的最终分数，而应让新旧改进程序从相同起始代、相同经验出发，在匹配任务和预算下产生后续系统，再独立评价跨任务效果。安全规则、停止条件、复位安排和操作授权也应匹配。若评估任务集扩大，应重评早期版本，或用固定锚定子集比较。

6.3 基准与评估资源

图7：按评估重点组织的具身与递归自我改进相关资源。具身资源覆盖任务、鲁棒性、反馈可靠性和开发过程；下半部分主要是数字环境中的递归改进基准，并非均已支持物理递归收益验证。来源：原论文表4，PDF第29页。 任务学习与泛化资源包括Meta-World、RLBench、CALVIN、LIBERO等；鲁棒性和真实环境资源包括SIMPLER、LIBERO-PRO、RoboArena等；FailBench、RoboRewardBench等关注成功判断与反馈可靠性；CaP-Bench、RoboCoach-Bench等评估机器人编程或训练开发。 AI4AI-Bench、RSIBench-Data、RSI-Exam等则从数字场景评价训练算法、数据策略或可执行方法修改。它们分别覆盖相关能力，却尚未形成一个统一检验自主继承、跨任务机制改善、物理反馈与安全成本的物理递归改进基准。

7 Challenges and Future Directions｜挑战与未来方向

从不确定物理经验中学习。 部分可观测性、传感噪声和随机结果，使成功判断与失败归因不可靠。错误反馈若修改了训练程序，可能在后续轮次持续放大。未来需要把反馈可信度与继承决策联系起来，而不只是收集更多轨迹。 跨运行框架组件的因果归因。 记忆、技能、工作流相互依赖，表面失败可能来自上游缺陷；同时修改多个组件又难以区分各自贡献。需要在有限试验预算下设计对照，识别因果依赖，并为修改对象和范围提供依据。 改进闭环的非平稳性。 更新是否有效，取决于当时的系统配置、能力和物理条件。之后的组件修改或环境漂移会使旧结论失效。应跟踪证据依赖，识别哪些必须重验、哪些仍可复用，同时限制重验成本。 奖励投机与评估泄漏。 不准确的成功检测和奖励模型可能让程序优化评分，而非真实物理结果。保护测试任务不被读取仍不充分，反复利用反馈筛选候选也会破坏独立性。方向包括独立核验物理结果、控制反馈披露，以及使用新证据或统计校正的最终测试。 递归更新中的安全。 任意改进程序更新的安全保证仍开放，全面重验每个版本又可能超出预算并产生额外风险。作者提出有选择地重审：找出失效假设，复用仍有效证据，把试验集中到未解决的安全问题，并保留受保护要求与有效停止能力。 建立递归收益基准。 后继系统更强，可能只是经验更多或起点更好。基准应追踪程序的自主修改、采纳与实际使用，从相同起点和经验出发比较连续程序版本，匹配任务、资源与安全条件，避免把数据积累误认为机制进步。

8 Conclusion｜结论

论文把机器人自主性从“会执行”推进到“会改进”，进一步追问“会不会改进改进自己的方法”。L0—L5框架以更新对象、任务范围和独立证据组织现有研究，并通过运行框架适应与模型训练两条路径，连接安全、继承和评价。 它并没有宣告机器人已经实现持续递归进化。恰恰相反，作者指出现有证据距离严格的物理递归自我改进仍有差距。关键不是展示版本分数上涨，而是证明机制修改本身，在受控起点和预算下，让后续跨任务改进更有效。 值得保留的判断是：能力改进、机制改进、可验证的递归收益，是三个不同层次。 更可靠的物理反馈、更清晰的因果归因、随系统与环境变化仍有效的安全证据，以及专门基准，是走向更高层次的必要条件。 原文链接 https://arxiv.org/abs/2610.18842 完整论文 https://arxiv.org/pdf/2610.18842 配套资源 https://github.com/SAIL-Research-Lab/Physical-RSI 本文依据论文v1整理。配图保留原始图内文字，中文图题与说明另附于图片下方；文中方法案例及分级判断均按该综述的证据范围解释。