导读

大模型智能体已经能够根据经验修改提示词、记忆、工具和工作流。更进一步，如果它还可以修改“未来怎样改进自己”的机制，系统就进入了递归自改进的讨论范围。但自我修改不等于真正进步：分数可能因测试失真而上涨，旧能力可能退化，污染与敏感信息可能被继承，人工监督也可能逐渐失效。 中国人民大学高瓴人工智能学院与中国科学院大学研究者的综述《Trustworthy Recursive Self-Improvement in the Era of Large Models: Foundation, Risks, Evaluation and Open Challenges》，围绕这一问题建立过程与证据框架。全文82页，重点不是证明递归自改进已经安全，而是明确：哪些对象发生了改变，变化被怎样继承，凭什么相信下一代系统仍满足要求。

本文按原文八个主要章节及一级小节组织，末尾保留附录的文献与证据口径。原文属于综述与证据综合，未给出一个新算法的统一性能实验；文中案例和效果应结合被引研究的具体设置理解，不能把相关系统中的失败直接当作严格递归自改进的普遍结论。 论文信息：作者 Jiayue Pu、Ang Gao、Jinyi Bai、Qipeng Wang、Tongyu Wen、Jiahao Zhao、Keyu Qu、Junhao Zhang、Chenglei Shen、Zhongxiang Sun、Jun Xu、Xiao Zhang。arXiv 编号2610.35193，首版提交于2026年10月26日。 阅读链接：论文全文；摘要与版本信息；项目主页；配套文献与审计资源。

1 引言（Introduction）

1.1 研究动机

自演化系统能够把一次任务中的经验保存下来，改变后续行为。递归自改进则进一步允许改写并复用产生未来更新的机制。风险因此不止于一次错误输出，还包括错误如何进入后续更新、被放大，甚至改变判断“更新是否合格”的规则。 原文引用的一个实验具有代表性：受污染的评测任务诱导 Hyperagents 写入绕过 HTTPS 证书验证的持久指令；后继系统在正常留出任务中生成不安全代码，随后在干净基准上的演化也未立即消除该指令。它证明了所测条件下的污染继承风险，但不能仅凭此就认定改进机制本身也被改写。

图1：递归自改进过程与可信性框架总览。中央为四阶段更新及对改进机制的递归修订；周围连接真实持续提升、行为约束、安全隐私、透明可控与评估。来源：原文图1，第4页；保留原图内容。

1.2 范围与视角

综述关注模型、提示、记忆、技能、工具和工作流的持久变化，以及产生、评估和实施后续变化的机制。人工批准可以继续存在，递归自改进并不必然意味着完全无人参与。 作者明确区分三类材料：直接识别改进机制修订与复用的证据；一般自演化系统的持久更新证据；用于理解具体风险和防护的相关研究。三类证据相互启发，却不能无条件替代。

1.3 与已有综述的比较

可信人工智能综述通常按安全、公平、隐私等属性组织；自演化和递归自改进综述更关注修改对象、循环结构与自主程度。本文进一步问：能力、约束和监督证据，能否对齐到同一系统版本、同一继承轨迹和兼容的评估条件？

1.4 主要贡献

主要贡献包括递归自改进的操作性定义与四阶段过程；按四个可信主题综合风险、防护及证据；提出纵向比较、更新器对照、完整成本核算和联合可信性评估要求。它提供的是可检验的分析框架，而非对所有系统的安全认证。

1.5 文章组织

第2章建立概念，第3至6章依次讨论四个可信主题，第7章讨论评估，第8章分析应用与开放问题。本文保留该顺序，并将更深层的阶段分析归入对应小节。

2 预备知识（Preliminaries）

2.1 递归自改进的定义与过程

论文用三个功能性对象描述系统：任务策略 h 决定怎样执行任务；归纳偏置 B 决定策略怎样学习或被修订，包括数据选择、目标和优化规则；偏置更新函数 U 决定如何修订这些学习选择。 分类依据是功能，不是文件类型。例如，要求提交代码前运行测试的提示属于任务执行；选择哪些修正轨迹用于训练的规则属于学习偏置；搜索并更新这些选择规则的程序，则承担更新器的作用。同一模块可以兼有多种功能，分析时需要分开标记。 作者采用较严格的递归定义：系统从经验更新策略，自主修订归纳偏置，还会修订并在后续轮次复用偏置更新机制本身。因此，持续微调、改提示或搜索超参数，不自动构成这一意义上的递归自改进；外层更新规则是否改变、是否实际复用，是关键区别。

图2：四阶段改进循环与更新机制的递归修订。上半部分为诊断、提议、评估和实施；下半部分将同一循环应用于更新函数，新机制被保留后影响后续轮次。来源：原文图3，第11页；保留原图内容。 四个阶段分别是：S1诊断限制，S2提出候选修订，S3按当前标准评估并决定接收，S4实施被接受的变化。RI表示将四阶段应用于 U。没有被接受的修订，对应组件保持不变；“提出过修改”不能当作“修改已经部署并生效”。

2.2 可信性的概念与要求

原文综合八组要求：有效性、可靠性、鲁棒性与真实性；行为安全与价值对齐；公平性；系统安全与韧性；隐私与数据治理；透明性与可解释性；人工控制与可纠正性；问责与治理。 这些要求不可互换。安全防护不等于不伤害用户，形式上的群体数值相等不必然代表公平，有解释文本不等于解释忠实，有中断按钮也不等于运行中的系统能够被有效停止。

2.3 递归自改进条件下的可信性

作者用三个互补视角组织四个主题：改进有效性对应真实且持续的提升；约束保持涵盖行为、对齐、公平以及安全、隐私；有效监督对应透明与可控。它们不是三个按时间排列的阶段。 证据还分三个层级：更新层检验一次变化是否满足要求；后继层检验变化被继承并使用后，收益和约束能否维持；元改进层检验新更新器被复用后产生的更新。后者若声称“更好”，还需要与未修改更新器做受控比较。

3 真实且持续的提升（Genuine and Sustained Improvement）

3.1 核心概念与可信性主张

真实提升是目标能力确实增强，持续提升是收益在后续使用与更新中保留。终点分数、已有技能保持、新任务迁移和产生未来好更新的能力，是不同测量对象。 一个后继系统表现不错，并不足以证明其更新器进步。增益也可能来自继承的记忆、更强执行模型、额外搜索次数或评估噪声，必须隔离这些因素。

3.2 风险与失败证据

S1中，生成数据替代旧经验可能丢失少见模式，错误自评也会导致误诊；S2中，候选搜索可能利用奖励捷径，更多尝试则会让未变强的机制看起来更强；S3中，任务生成器、解题器与裁判可能共享错误，测试泄漏和裁判变宽松也会抬高分数。 S4还面临遗忘、技能冲突、检索碰撞和调用失败。把正确经验存入技能库，不代表后继系统会检索、遵循并受益。到了RI层，改变了提议或评分程序，也不代表未来更新质量已经提高。

3.3 现有防护及局限

对应措施包括保留真实与多样经验、验证反馈和疑似原因、维护不同候选方向、使用独立留出测试，以及把旧能力回归测试纳入接收条件。状态管理还要保存可恢复版本，检查实施后的实际使用，而非只检查编辑结果。 更新器对照应从相同策略和偏置开始，在共同测试下比较后续更新，并核算提议、执行、验证、训练及被拒绝试验的成本。防护有效性仍取决于测试覆盖、检查器准确性和资源口径；留出集被反复查询后也可能失去独立性。

3.4 证据综合与研究缺口

原文比较 SICA、Agent Plasticity、MASS、Hyperagents、Evo2 等研究，指出15次自编辑、20或40轮经验、两次训练循环、100次搜索不是统一的“长期”尺度。部分研究有固定元智能体或固定执行器对照，另一些则同时改变多个组件。 后续需要完整轨迹上的技能保持、迁移、峰值到最终版本的回退，以及含更新器获取成本的预算曲线。已观察到局部能力收益，不等于已有充分长期证据。

4 行为约束、对齐与公平（Behavioral Constraints, Alignment, and Fairness）

4.1 定义与可信性主张

行为约束规定允许、禁止与必须执行的行为，既要防止有害服从，也要避免无正当理由拒绝合法请求。对齐要求追求经授权的人类目标，而不是自行重写“成功”；公平要求考察不同群体得到的收益、错误、机会、拒绝和风险。 这些要求应在当前更新、后继使用和更新器复用后分别验证。目标可以经授权改变，但任务分数上涨本身不构成放松约束的授权。

4.2 风险与失败证据

诊断反馈可能偏向部分利益相关者或遗漏某些群体；搜索可能过度优化不完整代理奖励；评估可能奖励过度拒绝，或用平均分掩盖子群体损失。系统与裁判共同演化时，评分标准漂移又会降低跨版本可比性。 已引研究还报告良性微调后安全行为减弱、记忆改变后续执行与拒绝倾向、生成数据影响群体代表性等现象。它们都受具体模型、任务和访问条件限制，不是对所有递归系统的普遍规律。

4.3 现有防护及局限

应把性能目标与行为约束分开记录，说明偏好数据来自谁、如何抽样与聚合；对有害服从、过度拒绝和正常任务效用联合测试；使用候选无法单方面改写的参考标准，并在完整部署配置上检查记忆、工具和工作流。 公平评估既要看固定参考人群，也要看随部署变化的人群，区分群体组成变化与组内表现变化。形式化契约只保证编码进去的条件，静态数值平等也不自动证明长期群体福祉改善。

4.4 证据综合与研究缺口

行为修复研究多覆盖有限更新，公平研究则常在特定模拟或数据生成程序中展开。最缺乏的是更新器反复改变并复用后，授权目标、行为约束和群体结果是否共同保持。 未来应记录每次约束或目标改变的批准过程，保持独立参考测试，并在相同起点、任务、工具权限与预算下跟踪多代结果。

5 系统安全、韧性、隐私与数据治理（System Security, Resilience, Privacy, and Data Governance）

图3：安全与隐私风险如何进入并继承于后续更新。两行分别描述安全与韧性、隐私与数据治理；底部强调更新器改变后重新验证防护。来源：原文图6，第30页；保留原图内容。

5.1 定义与可信性主张

系统安全保护经验、资产和接收证据免受未授权影响；韧性关注遭受污染后能否遏制影响并恢复正常服务；隐私关注信息的获取、推断、转化与披露；数据治理规定收集和复用是否仍处于授权目的之内。 因此，阻止输入、删除记录、恢复服务和消除衍生影响必须分别测试。历史版本、缓存、技能副本和权限也属于可信性主张需要明确的范围。

5.2 风险与失败证据

低信任内容可能进入记忆，再被总结成可复用技能。原文引用 SkillJack 等研究说明，源记录删除后，衍生技能中的恶意影响仍可能存在；多项单独看似无害的技能也可能组合成危险行为。 评估证据本身也可能被篡改，例如删除检测所需日志而非修复底层问题。隐私风险则横跨过度收集、上下文不当披露、记忆提取、个人属性推断和跨版本暴露。资产污染率不是已完成泄密率，攻击代理指标也不等于真实伤害结果，解读证据必须保留这种区分。

5.3 现有防护及局限

防护包括绑定来源与行动权限、限制数据收集、隔离敏感原值、沙箱和信息流控制、审查技能组合，以及把候选、输入输出、裁判和批准记录关联起来。签名只能绑定资产版本，不能替代对内容和用途的授权。 恢复需要沿依赖关系清理源头与后代资产，并测量残余影响和正常效用。隐私预算应依据实际发布与私有数据访问核算，而非按后继数量简单累加；差分隐私等条件性技术也不替代同意和用途限制。 当更新器能改权限、日志或数据使用规则时，作者建议把最终批准、权限根和恢复权置于候选可修改范围之外。这个设计建议来自已知篡改机制，仍需在边界改变后的实际使用中验证。

5.4 证据综合与研究缺口

污染继承已有直接案例，但污染存在并不能单独证明 U 被修改。元改进层的结论必须标明更新器中究竟改变了什么，并追踪它如何产生后续更新。 需要比较只清源头、恢复检查点、同时清理衍生资产等方案，报告再次复用后是否复发、合法任务是否恢复。删除实验还应预先指定攻击者能访问的记忆、技能、模型版本、日志和辅助信息，避免把访问受限误当作彻底删除。

6 透明性与可控性（Transparency and Controllability）

图4：跨阶段监督与授权干预的覆盖范围。解释、来源记录和独立审查贯穿更新过程；干预必须覆盖继承状态与活动进程，且还需单独检验纠正效果。来源：原文图7，第37页；保留原图内容。

6.1 定义与可信性主张

透明性要求有关来源、操作和变化的信息可检查；解释性要求帮助理解机制和行为；可控性要求干预达到预期效果；可纠正性还关乎系统是否配合授权纠正。 原文另外区分三类归因：技术贡献回答哪些修改导致结果；运行责任回答谁负有哪些任务与恢复职责；治理问责回答谁应解释并补救。日志与消融可以支持技术分析，却不能自动完成组织问责。

6.2 风险与失败证据

错误定位可能混淆初始错误、首次无法恢复的位置和错失的恢复机会。自然语言解释或推理轨迹也可能只是合理化叙述；干预某处导致输出变化，不一定说明它解释了正常计算过程。 多个裁判可能共享错误，换一组评审并不自动带来独立证据。优化监控信号可能压低可见痕迹而未消除行为。部署后，实际技能库和审查版本可能不一致；停止主进程也不一定停止委派任务、排队工具调用或已经产生的外部效果。

6.3 现有防护及局限

可检验诊断应配合相同检查点的回放：保持起始状态与预算一致，比较纠正和不纠正的后续结果。解释应接受行为预测、线索移除或干预测试，分别验证“能帮助预测”和“忠实解释机制”。 追踪需覆盖来源、生成器、教师或基础模型版本、资产组合及实际调用。审查应接触行动者无法单独控制的证据，并明确不确定时的升级规则。监测到风险与实际干预有益，也是两个不同结果。 执行控制必须能到达记忆、适配器、合并权重、后继进程和外部文件；回滚内部状态不能逆转已经发生的不可逆行动。形式化验证只覆盖编码属性与前提，不能扩大为整个会话的无条件安全定理。

6.4 证据综合与研究缺口

解释、监控、恢复和问责各有证据依赖。关键缺口是：更新器改变后，原来的解释是否仍有效、监控是否仍看得见、停止和纠正是否还能覆盖实际运行系统。 未来需分别改变行动者、监控器和观测通道，记录停止成功率、延迟、残余影响和正常效用。恢复检查点后，还要继续更新并重测，才能判断修复是否耐久，而不只是瞬间有效。

7 可信递归自改进的评估（Evaluating Trustworthy RSI）

7.1 现有评估覆盖了什么

更新层研究测量候选修改、资源受限训练和测试可靠性；后继层研究跟踪继承、技能保持、干扰和恢复；元改进层研究则考察被修订的探索策略或元智能体如何影响未来更新。固定模型的安全基准可以提供组件，但不自动证明演化中的长期安全。

图5：代表性研究的可信性证据覆盖矩阵。实心表示已有测量或分析，空心表示讨论或案例，灰色表示未评估，问号表示证据不清楚。该图是研究层面的覆盖编码，不是系统安全排行榜，也不表示各属性已在同一轨迹上联合满足。来源：原文图8，第44页。 矩阵显示，任务表现通常比公平、隐私和干预获得更多直接测量。尤其在改进机制复用的研究中，能力证据不能补足行为约束与监督证据；“未评估”既不等于通过，也不等于已经失败。

7.2 如何比较连续版本

更新层应分离开发经验、接收测试和独立报告。报告测试运行在冻结后继副本上，结果在评估轨迹结束前不反馈给搜索；阈值事先规定，训练、拒绝试验和验证成本都应记录。 后继层需保留父子版本、依赖、候选和批准记录，在初始、中间、最终检查点使用共同参考任务。除最好成绩，还应报告当前部署版本、失败分支、预算耗尽和提前停止轨迹；累计违规、首次严重失败时间与恢复结果比终点分数更能说明风险。

图6：更新、后继与元改进的三级比较设计。三类对照均同时检查任务表现、约束满足与监督有效性；元改进采用相同起点、分别固定更新器的配对延续。来源：原文图9，第46页；保留原图内容。 元改进层从同一策略、偏置和持久状态分叉，一条使用旧 U，另一条使用新 U；两条分支各自固定更新器，匹配任务流、权限和后续预算，再用共同测试比较后继。允许更新器继续变化的条件应单独设置。 机制效应与总成本效率也要分开：发现、训练和验证新更新器的成本不能从账目中消失。若多次复用，需要明确复用次数及一次性成本的分摊规则。

7.3 什么证据支持可信性主张

首先记录裁判的数据、提示、代码、版本与修改权限；裁判更新时，用新旧裁判复评共同快照。其次明确重复接收检验的抽样条件、反馈接口和误差控制范围。给搜索器返回详细评分与只返回晋级决定，会形成不同依赖条件，相关统计保证不能任意迁用。 最重要的是同轨迹联合证据：若协议同时要求能力达标和不泄密，则某个中间版本泄密，即使初始与最终版本都通过，也不能认定整条轨迹合格。 应逐项报告强制要求、评估时点、范围和不确定性，再报告独立运行中整条轨迹满足全部要求的比例。不同实验分别有能力、安全和监控结果，不能拼接成一条系统已全面可信的证据链。

8 应用、开放问题与结论（Applications, Open Problems, and Conclusions）

8.1 当前发现与证据要求

综述总结了所测设置中的能力遗忘、安全退化、自写测试失真与污染继承。这些发现建立了可发生的失败机制，但其普遍程度、持续时间，以及 U 的修订如何改变风险，仍是开放问题。 结论应明确适用任务、版本、继承关系、评估时长和未测试条件。跨任务要重测迁移，跨版本要重测约束，从候选推广到更新器要测它产生的后代，从回滚推广到恢复则要检查衍生资产和外部效果。

8.2 应用背景如何改变所需证据

三个问题决定评估重点：**系统能改什么？谁控制测试？接收后留下什么？**记忆与检索系统要看覆盖、污染和删除；代码及工具系统要看部署安全与组件交互；元智能体则要检查未来更新质量，而不只看当前代码能否运行。 反馈可以由系统自写、与系统共同演化，或来自受保护外部评估。无论哪种方式，若接收反馈已经用于后续提议，它就成为改进经验，最终报告仍需独立证据。 隔离软件配置可能回滚，但持久记忆、技能与外部文件不一定同步恢复。临床和具身场景还涉及患者或物理环境，必须有对应人群、队列和运行条件下的独立验证；所引研究中的任务收益不能直接等同于获准部署。影响越难逆转，越需要事前授权、外部证据和有效干预。

8.3 开放问题与未来方向

原文提出七个方向。 递归变化的理论基础：哪些约束必须保持不变，哪些可随环境或授权目标变化？单次安全修改组合后为何可能失效，需要明确共享状态与权限等前提。 自修改机制的验证：裁判修订应在共同冻结候选与独立参考上验证；更广泛的机制修订应使用配对延续，并让依赖前提的变化触发重检。 长时风险与自适应缓解：比较干净、污染起点及不同复用频率，跟踪风险何时出现、持续和复发，同时衡量修复后的正常能力。 可信机制本身的递归改进：比较固定防护、固定更新器下的防护适配、修订更新器后的防护适配，检验新旧故障交替出现时的约束保持。 执行中的自适应控制：在相同执行阶段测试停止、纠正和回滚，覆盖委派任务、队列及衍生状态；不可逆行动应重视事前阻止与后续补救。 可信改进的权衡与极限：严格接收可能减少错误晋级，也可能错失真正改进；完整日志支持追责，却可能增加隐私暴露。应以共同实验测量权衡，而不是假定所有目标可以同时免费改善。 领域与多方利益相关者：总体平均收益可能损害部分患者、用户或内容提供者。需记录经同意的约束与反馈权重，并持续检验它们是否被后续版本保持。

8.4 结论

可信递归自改进要求三件事同时有证据：提升真实且持续，适用约束继续满足，授权监督仍然有效。一次更新的成功、后继表现良好、更新器能够产生更好更新，是不同层级的主张。 真正需要建立的是跨版本、独立、可比较和可复现的证据，而不是一个越来越高的分数。对尚未评估的条件保持明确，比把局部成功包装成全面可信更重要。

附录A 文献覆盖与引用范围

附录1 主题覆盖与证据边界

作者说明检索覆盖截至2026年10月26日的相关工作，并按直接机制修订、自演化和相关机制证据区分材料；实证结论与形式化结果分别受实验条件和理论前提约束。

附录2 计数单位与来源归一化

综述计入301项不同作品，预印本与正式发表版本去重。该数字包含基础文献、标准和相关系统研究，并不意味着301项均展示了严格递归自改进。

附录3 发表来源分布

按作者归类，198项来自 arXiv；会议及研讨会82项，期刊8项，其余还包括在线来源、书籍和机构报告。发表来源与证据用途分开记录，不能用来源类别替代逐项证据判断。

附录4 证据选择与编码协议

覆盖矩阵对20项代表性研究的13个维度编码，共260格；配套记录包括40项针对性一手来源核查及其他格子的来源定位。研究层面的“已检查”不等于同轨迹联合满足，仍需结合具体版本、修改对象与复用证据阅读。 原文与资源：完整论文；摘要与版本记录；项目主页；文献及证据审计资源。本文为中文整理，不替代原论文及被引研究的实验细节。