论文 | 人类建造的最后一个 AI？走向真正的递归自我改进

论文题目：The Last AI Built by Humans: Toward Genuine Recursive Self-Improvement 作者：Yi Duan、Ying Liu、Zirui Tang、Haodong Chen、Jun Zhou 等 机构：上海交通大学、Theseus Labs、清华大学、字节跳动、面壁智能、小红书、上海 AI Lab 等 论文链接：https://arxiv.org/pdf/2609.11873 项目主页：https://theseus-labs-rsi.github.io/

导读

这篇论文讨论的是一个正在从科幻概念进入工程实践的问题：AI 能否把经验和反馈转化为持久变化，并让这些变化继续改善下一轮改进过程？作者将其称为递归自我改进，即 RSI。 论文标题 “The Last AI Built by Humans” 带有明显的愿景色彩，但正文并不是简单宣称 AI 即将自我进化，而是尝试建立一个更可操作的分析框架。作者认为，真正的 RSI 不是一次提示词优化、一次反思、一次自动调参，也不是某个任务内的短期迭代；关键在于三个条件：改进必须闭环，改进结果必须被持久继承，后续改进过程本身也要逐步由 AI 接管。 围绕这一点，论文提出以自治程度为核心的五级路线：从执行人类指定的改进，到自主选择改进策略，再到自主获取学习经验、在部署环境中持续适应，最后走向能够改进“改进机制”的元层级。论文还把 RSI 放入科学发现、具身智能、软件工程和医疗健康等应用场景中比较，并梳理了 Theseus、Lark、Humanlaya、ModelBest、腾讯混元 Hyra、Agent-Native Research Lab 等工业实践。 这篇文章适合关注 AI Agent、自动化科研、AI4AI、模型训练自动化和长期自进化系统的读者。它的价值不在于给出一个已经实现的超级智能系统，而在于提供了一套判断标准：哪些系统只是“会反思”，哪些系统开始“能积累”，哪些系统真正接近“改进自身的改进方式”。

Introduction | 引言

从规模负担到递归改进

当前前沿模型开发已经进入多重规模化阶段：模型参数、上下文长度、数据管线、训练实验、推理调用、评测验证和人工协调都在增长。论文开篇指出，模型研发中的瓶颈不再只是训练一次大模型有多贵，而是整个改进流程越来越复杂：研究者要发现问题、设计实验、准备数据、运行训练、判断结果、沉淀经验，再把经验带到下一轮。 即使有越来越多 Agent 工具和 API 自动化，人类仍然承担大量关键决策：该改什么、怎样改、用什么反馈判断改进是否有效、失败经验是否值得保留。这种端到端开发负担，是论文引出 RSI 的直接动机。 作者将 RSI 定义为一种自治闭环能力：AI 系统能够识别自身或所服务系统的局限，提出并执行改进，利用反馈选择可保留的变化，并让这些变化影响后续任务或后续改进过程。换言之，RSI 的核心不是“AI 参与改进 AI”，而是“改进能力本身被系统化、可继承、可递归地内化”。

三个核心挑战

论文强调，判断一个系统是否接近真正 RSI，需要避免三个常见混淆。 第一是任务内改进与持久改进的混淆。很多模型可以在同一任务里反思、重试、修正答案，但如果这些经验不会改变后续任务中的系统状态，就还只是局部推理技巧。 第二是自动化与自治的混淆。自动化流水线可以执行大量人类预设操作，例如批量标注、搜索超参数、生成候选代码；但如果目标、策略、评价标准和保留规则都由人类固定，它仍不等于自我改进。 第三是性能提升与递归性的混淆。某个代理在一次 benchmark 上变强，并不意味着它改善了后续改进机制。真正关键的是：被继承的变化是否会影响下一代改进如何被提出、评价和固化。

Background and Preliminaries | 背景与预备知识

能力进展并不均匀

论文提出 Headroom-Closed Index，简称 HCI，用于比较不同能力域相对于可观测上限的进展。作者汇总 393 个模型-基准观测，覆盖通用知识、研究生科学、数学、学术广度、多模态、法律、网络安全、软件工程、工具使用和搜索/终端工作流等十类能力。 结果显示，通用知识、部分科学评测和多模态能力提升较快，而软件工程、工具使用、搜索/终端等更接近真实工作流的领域仍有较大空间。论文认为，这些剩余空间正是 RSI 可能发挥作用的地方：当任务需要多轮实验、工具调用、环境反馈和经验继承时，单次模型能力提升不足以解决全部问题。

与相邻范式的边界

RSI 与持续学习、AutoML、Agentic AI 有重叠，但边界不同。持续学习强调模型从新数据中保留知识，但不一定由系统自主决定改进策略。AutoML 自动搜索模型或训练配置，但搜索空间、评价目标和选择规则通常外部固定。Agentic AI 能规划和调用工具，但很多改进只发生在当前任务内，不会持久改变未来行为。 论文的判据更严格：经验必须导致持久自我变化，变化必须被后续轮次继承，且随着自治层级提高，AI 还要逐步接管改进策略、经验获取、环境适应甚至改进机制本身。

RSI Across Autonomy Levels | 不同自治层级下的递归自我改进

五级自治框架

论文最核心的贡献是五级自治框架。它并不按具体算法分类，而是按“AI 内化了改进流程中的哪些责任”分类。

B0 是任务内改进。模型在一个任务中反思、搜索或多次尝试，但改进不会持久继承，因此论文把它作为非 RSI 的参考边界。 L1 是改进执行自治。人类指定目标、方法和成功标准，AI 负责执行候选更新。例如按固定规则批量标注、按给定评测自动生成数据、按既定模板改写提示词。 L2 是改进策略自治。目标和评测仍由外部固定，但 AI 开始诊断弱点并选择如何改进。此时系统不只是执行给定操作，而是根据证据决定改提示词、改工具、改工作流还是改模型配置。 L3 是学习信号或经验获取自治。系统不仅选择怎么改，还决定下一轮需要什么经验。它可能生成新任务、构建课程、挑选最能暴露当前弱点的数据，或者设计更有价值的探索环境。 L4 是部署与环境适应自治。系统在真实或接近真实的部署环境中收集交互反馈，把经验沉淀为记忆、规则、技能、工具或代码，并选择哪些变化应被保留到后续任务。 L5 是递归继承自治。系统开始改进产生后续改进的机制，例如候选生成器、评价器、研究策略、资源分配策略或自修改程序。这里的关键不再只是得到更好解，而是让“产生更好解的过程”也被继承和改进。

从执行改进到选择策略

L2 是从自动化迈向自治的重要分界线。论文用“自主策略选择”来描述这一层：系统观察当前表现，诊断错误，选择候选干预，运行评测，再决定保留或回滚。与 L1 相比，L2 的变化在于 AI 对“如何改”拥有选择权。

这一层覆盖提示词搜索、Agent harness 搜索、工具调用策略调整、训练配方搜索等方向。论文特别强调，策略自治本身还不等于强 RSI，因为目标函数、任务边界和晋升规则仍可能完全外部固定。但 L2 已经让系统具备了从失败证据中选择改进路径的能力。

经验获取与数据流水线

L3 关注“下一轮学习经验从哪里来”。在模型训练和 Agent 改进中，经验并不是被动存在的。系统可以根据当前弱点生成训练任务、选择难例、构造合成数据、组织课程学习、调度实验，甚至设计验证环境。

论文指出，数据流水线自动化并不天然等于 L3。只有当学习者的反馈能反过来塑造未来经验获取，例如根据当前失败模式生成更针对性的任务，才接近经验获取自治。R-Zero、SIMA 2、形式化证明任务生成和视觉语言问题生成等系统，都是论文用于讨论这一层的代表案例。

部署环境中的持久适应

L4 将改进闭环放入真实交互环境。此时系统不只在实验室 benchmark 上优化，而是在部署过程中观察任务结果、用户反馈、工具失败、环境变化和长期使用模式，再把这些经验转化为可复用状态。

这种持久状态可以是文本经验记忆、结构化知识库、程序化技能库、可执行工具、Agent harness 修改或偏好模型更新。论文也提醒，L4 的风险在于错误会被继承。如果没有清晰的验证、回滚和边界控制，系统可能把偶然经验、错误规则或被攻击污染的反馈写入未来行为。

元改进才是最强形式

L5 是论文中最接近“真正递归”的层级。它要求系统不仅改任务策略，还能修改后续改进机制本身。举例来说，系统可能发现当前搜索过程浪费预算，于是修改候选生成策略；发现当前评价器容易被利用，于是改进评分规则；发现研究资源分配不合理，于是调整下一轮实验选择策略。

论文把 L5 分为结构性 L5 和有效 L5。结构性 L5 证明 AI 指导的变化确实持久影响了后续改进轮次；有效 L5 则进一步证明这种变化在独立评估和相近预算下产生更好的后继系统。二者的区别很重要：一个系统能自改代码，不代表它的改进机制真的变好。

RSI Across Applications | 不同应用场景中的递归自我改进

科学发现

科学场景中的 RSI 面临开放性和验证成本问题。科学发现不只是找到一个候选分子、公式或假设，还要生成实验、收集证据、解释失败、更新研究策略，并把可验证经验传给下一轮。这里的反馈往往昂贵、噪声大、归因困难，因此科学 RSI 需要强实验记录、假设管理和不确定性控制。 论文认为，科学 RSI 的未来形态不是自动化发现单个结果，而是能持续改进研究流程本身：更好地提出问题、设计实验、分配资源、积累失败经验，并把这些过程性知识继承给后续研究。

具身智能

具身智能天然适合 RSI，因为机器人和环境交互会产生真实经验。但它也更难：物理试错成本高，安全约束强，失败原因可能来自感知、控制、环境、奖励或硬件。一个具身 RSI 系统不仅要改进策略，还要决定探索哪些环境、如何收集经验、如何跨任务复用技能，以及如何避免把危险行为固化。 论文指出，当前具身系统更多展示的是策略级自改进或模型-环境共同演化，还未达到无限制递归改进。真正的具身 RSI 需要环境生成、策略学习、技能记忆、验证机制和安全边界共同闭环。

软件工程

软件工程是最适合研究 RSI 的应用之一，因为代码、测试、日志、执行轨迹和版本历史都天然可记录、可验证、可回滚。一个编码 Agent 可以把自己视为可编辑的软件项目：发现失败模式，修改提示词、工具、工作流或代码，再通过测试和独立任务判断是否继承。 论文讨论了 Darwin Gödel Machine、Gödel Agent、HyperAgents、AIDE2 等工作。它们共同指向一个方向：未来软件工程 RSI 不只是生成更好的代码，而是维护可追踪、可回滚、可验证的改进谱系，让成功经验能跨项目复用，失败经验能阻止重复错误。

医疗健康

医疗 RSI 的潜力很大，但约束最强。临床环境不允许随意试错，反馈延迟长，责任边界严格，数据隐私和机构差异显著。论文认为，医疗领域较可行的早期 RSI 形式是受治理的知识、记忆和流程改进：系统从病例反馈、专家审查和长期结果中更新诊断规则、偏好记录或工作流，但所有持久更新都必须可追溯、可验证、可撤销。 这也说明，RSI 的实现方式高度依赖场景。软件工程可以更多依赖自动测试，科学需要实验验证，机器人需要物理安全，医疗需要专家监督和制度化审查。

Industry Landscape and Preliminary Practices | 工业景观与初步实践

环境、数据与模型共演化

论文用多个工业案例说明，RSI 已经开始以工程系统形式出现。其中 Theseus 的核心观点是环境、数据和模型需要共同演化：先把真实工作空间重构为可执行环境，再从环境中发现能力缺口并生成训练数据，随后训练任务模型，最后让更强模型继续演化环境。

论文报告的早期工作空间实验显示，干净工作空间相较噪声工作空间带来 21.7 到 51.6 个百分点的通过率提升；在重构环境实验中，固定模型与 harness 的情况下，加入 Collection Map 和 Event Log 等环境信息也带来显著提升。这说明 Agent 表现不仅取决于模型本身，也取决于环境是否能让知识、状态和反馈被可靠继承。

企业数据基础与经验银行

Lark 的案例强调企业级 RSI 的数据基础。企业协作中的文档、消息、会议和任务会持续产生新数据，但如果这些数据不能被结构化、评估和归因，就无法成为可靠的改进材料。Lark 将数据收集、组织、质量评估、反馈构造和 Agent 改进连成闭环，让真实使用反馈进入下一轮系统改进。 Humanlaya 关注交付驱动的数据质量保证，把客户反馈、内部审查和错误类型沉淀为质量系统的改进输入。腾讯混元 Hyra 则通过上下文 Agent、并行提案、沙箱执行、评估和经验银行，把解决方案、日志、失败案例和可复用知识保留下来，用于下一轮探索。Agent-Native Research Lab 则强调可验证研究基础设施，避免研究过程中的证据、实验和失败路径在论文式总结中丢失。

工业实践的现实边界

这些案例显示，工业 RSI 往往不是开放式自我修改，而是受约束的闭环：人类定义目标和边界，系统自动收集经验、提出改进、执行验证、沉淀可复用资产。它们的价值在于把 RSI 从抽象愿景落到具体工程问题：数据如何持续进入系统，经验如何被结构化，更新如何被验证，错误如何被回滚。

Challenges and Future Directions | 挑战与未来方向

评估与归因

RSI 最大的问题之一是如何证明改进确实来自系统继承的变化，而不是偶然任务差异、评测泄漏、资源增加或外部人工介入。论文建议关注跨轮次趋势、保留状态、独立迁移任务、回滚对照、资源消耗和失败案例，而不只是最终分数。

安全继承

持久继承是 RSI 的必要条件，也是风险来源。系统如果能保留成功经验，也可能保留错误规则、偏见、奖励黑客策略或被攻击污染的记忆。因此未来 RSI 系统需要明确的变更来源、验证证据、适用范围、撤销机制和受保护评测集。

开放性与边界控制

越接近 L5，系统越可能修改候选生成、评价和资源分配机制。这带来更强创新潜力，也带来更强不可预测性。论文强调，即便在 L5，任务使命、安全边界、受保护评估和最终接受权仍应作为外部约束存在。所谓真正 RSI，并不等于无边界自我释放，而是可验证、可治理、可持续的改进闭环。

Conclusion | 结论

这篇论文给 RSI 提供了一套清晰路线图：从任务内反思到执行改进，从策略选择到经验获取，从部署适应到元层级递归继承。它最重要的贡献，是把“AI 自我改进”从一个模糊口号拆解为可观察的系统结构：闭环在哪里关闭，什么状态被继承，哪些决策由 AI 接管，哪些控制仍由外部保留。 对当前 AI 发展而言，RSI 的意义不只是让模型变强，而是让改进过程本身更高效、更可积累、更可验证。它连接了自动化科研、软件工程 Agent、企业知识系统、机器人学习和医疗工作流等多个方向，也提醒我们：越强的递归改进越需要严肃的评估、归因和治理。 如果说基础模型解决的是“一个模型能学到多少”，那么 RSI 追问的是“一个系统能否持续学会如何让自己变得更好”。这正是未来 AI 系统从工具走向长期自适应基础设施时绕不开的问题。

Appendix | 附录景观

文献分布

论文附录汇总了 491 篇相关工作，并按自治层级和改进目标进行统计。其中 L1 和 L2 占比最高，分别为 43.8% 和 31.6%；L3 为 13.0%；L4 和 L5 仍较少，分别为 5.7% 和 5.9%。这说明当前研究大多仍集中在执行改进和策略选择阶段，真正涉及部署环境适应和元改进的系统仍处于早期。

从改进目标看，提示词与上下文、记忆与知识、工作流控制、工具技能、模型权重、训练优化、评价反馈系统、数据环境、外部产物和全系统共演化都可以成为 RSI 的修改对象。未来真正有影响力的 RSI 系统，很可能不是只改其中一个组件，而是让这些组件在受控边界内共同演化。