综述 | Self-Improvements in Modern Agentic Systems 现代智能体自我改进

导读

自我改进智能体正在从概念讨论走向工程系统。今天的 Agent 不再只是一个调用大模型的脚本，而是由基础模型、提示词、记忆、工具和控制逻辑共同组成的运行系统。真正关键的问题也随之改变：系统能否从自身执行经验中提取信号，并把这些信号转化为持续能力增益？

这篇长达 97 页的综述《Self-Improvements in Modern Agentic Systems: A Survey》给出了一个清晰的系统框架。作者将现代自我改进智能体看作“基础模型 + 操作脚手架”的组合，并把改进路径分成两大类：一类是基础模型改进，即更新模型参数；另一类是脚手架改进，即在不改模型权重的情况下更新 prompt、memory、tool 或完整控制逻辑。前者慢但稳定，适合把能力固化进模型；后者快且可回滚，适合任务级、系统级快速迭代。

本文严格按原文组织结构展开，覆盖历史背景、形式化定义、方法分类、基础模型改进、脚手架改进、应用、评测、讨论和未来方向，并压缩到公众号可读长度。

1 Introduction 引言

自我改进是人工智能长期以来的核心命题。从 Good 对“智能爆炸”的讨论，到 Schmidhuber 的自指学习框架和 Godel Machine，早期研究已经设想过能检查、修改并提升自身的系统。但在过去，这类系统必须在底层代码、规则或权重空间中搜索，工程上很难扩展。

现代基础模型改变了这一格局。LLM 和 VLM 提供了统一的自然语言接口，使推理、执行、反馈和修改都可以通过语义化对象表达。与此同时，现代 Agent 通常被包裹在操作脚手架中，包括提示词、记忆、工具接口和控制逻辑。于是，自我改进不再只是“模型自己改权重”，也可以是“系统自己改运行方式”。

论文的核心贡献包括三点。第一，追溯自我改进系统从经典 AI 到基础模型智能体的历史演化。第二，提出统一形式化，把 Agent 表示为基础模型和脚手架的组合。第三，建立系统分类，将方法按更新目标和学习信号组织起来，并讨论应用、评测和未来问题。

2 Historical Context and Theoretical Foundations 历史背景与理论基础

论文指出，自我改进不是现代大模型时代突然出现的新概念。早期优化和控制理论已经包含“从误差中调整自身”的思想；符号主义时期出现了启发式搜索和程序自修改；连接主义时期则发展出元学习、快速权重和学习算法发现；再往后，Godel Machine 等工作将“可证明有益的自我重写”推向理论极限。 这些早期路线的共同瓶颈是搜索空间过大。无论是直接改代码还是改权重，系统都很难在开放任务中找到可靠的改进路径。基础模型时代的变化在于，自然语言成为一种高层可操作媒介：Agent 可以用语言描述失败、生成修复、总结经验、改写 prompt、组织工具，甚至产生候选代码补丁。这让自我改进从纯理论命题变成可工程化的迭代循环。

3 Definitions 定义

论文把现代 Agent 表示为由基础模型和脚手架组成的系统。基础模型提供通用认知能力，脚手架则负责构造上下文、接入记忆、选择工具、执行控制逻辑并与环境交互。

在这个框架下，自我改进被定义为一种自诱导更新：Agent 通过自身执行产生学习信号，例如轨迹、失败、批评、验证结果或候选修改，然后将这些信号提交到更新算子中，持久修改模型参数或脚手架组件。关键在于，这种更新不是临时上下文变化，而是会影响后续执行的持久配置变化。 论文也区分了相关概念。普通在线学习、强化学习、元学习、自我反思都与自我改进相关，但自我改进强调系统对自身配置的可持续修改，包括模型权重和操作结构。

4 A Taxonomy of Existing Approaches 方法分类

论文最重要的分类轴是“更新什么”。如果更新基础模型参数，就是 foundation model improvement；如果保持模型参数不变、更新 prompt、memory、tool 或控制逻辑，就是 scaffolding improvement。另一个分类轴是“信号从哪里来”：信号可能来自模型自己生成的示范、模型自己产生的评价反馈，也可能来自真实或模拟环境中的交互经验。

基础模型改进更像慢循环。它把经验固化到权重中，收益可以跨任务复用，但训练成本高，也可能带来灾难性遗忘或能力退化。脚手架改进更像快循环。它改的是系统外围结构，通常更便宜、更容易回滚，也更适合针对任务和环境快速适配。

5 Foundation Model Improvement 基础模型改进

基础模型改进直接更新模型参数。论文将其按学习信号分为三类：内生生成示范、内生评价反馈和外生探索经验。

内生生成示范指 Agent 自己生成训练样本，例如指令-回答对、推理轨迹、执行日志、代码和测试样例。它的优势是减少人工标注依赖，但风险是模型把自己的错误、偏见和低多样性样本反复训练进去，导致模型坍缩或知识泡沫。 内生评价反馈指 Agent 或内部评估器对候选输出打分、排序、偏好比较或提出 critique。它让模型能把“自我判断”转为训练信号，但也容易强化自身盲点。如果生成器和评估器过于同源，系统可能学会迎合评估表面形式，而非真正提升能力。 外生探索经验来自真实或模拟环境。例如代码 Agent 通过单元测试获得反馈，Web Agent 通过页面状态和任务结果获得轨迹，机器人通过物理或仿真环境获得经验。这类信号更 grounded，但交互成本高、奖励稀疏，且世界模型可能产生看似合理但错误的模拟轨迹。 这一部分的启示是：参数级自我改进需要可靠信号、质量过滤、外部锚点和回滚机制。没有验证的自训练循环可能越改越偏。

6 Scaffolding Improvement 脚手架改进

脚手架改进保持基础模型参数不变，改的是 Agent 周围的操作结构。论文将其分为 prompt、memory、tool 和 full scaffolding 四类。

提示词

Prompt 是 Agent 接收任务、组织上下文和表达约束的语义接口。Prompt 自我改进可以使用黑盒优化、迭代反馈、群体进化和 textual gradient 等方式。它便宜、直观、易回滚，是当前最常见的快循环方法之一。

不过，prompt 优化也容易过拟合 benchmark 或评测器。一个 prompt 在特定任务上变强，不代表它获得了通用能力；它也可能只是学会了利用评分漏洞。

记忆

Memory 让 Agent 从一次性对话走向长期适应。论文将记忆拆成对象、结构和处理三个维度。记忆对象可以是交互轨迹、筛选后的原始内容、外部知识或向量嵌入；记忆结构可以是扁平、层级、图结构或向量库；记忆处理则包括创建、读取、更新、删除、压缩和信用分配。

记忆的关键不是“存得越多越好”。过度存储会引入噪声、隐私泄漏和检索压力；过度删减又会丢失关键经验。真正的自我改进记忆应当是信号驱动的：根据任务结果和反馈决定哪些经验值得保留、重写或遗忘。

工具

Tool 改进关注 Agent 如何选择、修复、组合或创造工具。随着工具池扩大，Agent 不仅要会调用工具，还要学会工具治理：什么时候路由到哪个工具、失败后如何修复工具、什么时候创建新工具。 论文把工具改进概括为三类：动态工具路由、迭代工具修复和自主工具创建。它们共同把 Agent 从静态工具使用者推向可扩展的行动系统。

完整脚手架

Full scaffolding 是最深层的结构改进。此时 Agent 不只改一个 prompt 或一条记忆，而是把整个操作逻辑甚至自身代码库视为可修改对象。软件工程中的自改代码、生成-测试-补丁循环、开放式 Agent 设计搜索都属于这一范畴。

完整脚手架改进潜力大，但风险也高。必须有单元测试、回归测试、安全检查和版本回滚，否则 Agent 可能把自己的运行结构改坏。

7 Applications 应用

论文梳理了六类典型应用：软件工程、网页导航与自动化、游戏和战略推理、科学发现、具身 AI 与机器人、通用计算机控制。

软件工程是最自然的试验场，因为编译器、测试、lint 和 CI 能提供可执行反馈。Web 导航和自动化提供真实交互轨迹，但页面变化和 UI 反馈噪声很大。游戏与战略推理适合自博弈和长期规划。科学发现依赖实验模拟器、假设生成和可复现实验。具身 AI 与机器人更强调物理约束和安全。通用计算机控制则面对开放界面、文件系统和操作系统自动化。 这些应用的共同点是：环境本身为自我改进提供反馈，但反馈的可靠性、成本和安全边界各不相同。

8 Evaluation 评测

自我改进系统不能只看最终分数。论文强调，评测应关注“是否真的改进、改进来自哪里、是否可泛化、是否安全”。常见方式包括 metric-based measurement 和 judge-based measurement。前者依赖可执行指标，如测试通过率、成功率、成本和延迟；后者依赖人类或模型评判，如偏好、质量、解释性和安全性。 更难的是 benchmark 设计。机制 benchmark 用来测试某类改进机制本身，例如 prompt 优化或记忆更新；领域 benchmark 则测试完整 Agent 在软件工程、Web、机器人等任务中的持续表现。论文提醒，静态 benchmark 很容易被过拟合或被 Agent 找到漏洞。因此，自我改进评测应报告完整学习曲线、回滚策略、消融分析、分布外泛化和安全失败模式。

9 Discussion 讨论

论文把未来方向分成两大主题。第一是终身适应算法，包括测试时持续适应、主动探索与好奇心、参数蒸馏和模型-脚手架联合优化。一个关键问题是 credit assignment：当 Agent 失败时，到底应该改 prompt、改工具包装器、更新记忆，还是做梯度训练？ 第二是复杂性、约束和开放世界鲁棒性。自我改进不能无限消耗 token、算力和交互预算；也不能只在静态仓库或固定仿真器中验证。未来系统需要资源受限的改进动态、多 Agent 协同进化，以及能抵抗 API 变化、界面重设计和对抗输入的开放世界适应能力。 这部分最重要的结论是：自我改进不只是“更强模型”的问题，而是反馈、架构、安全边界和评测协议共同作用的问题。

10 Conclusion 总结

这篇综述提供了一个很好的共同语言：现代自我改进智能体可以被看作基础模型和脚手架的耦合系统，能力提升可以通过两条路径发生。慢路径是基础模型改进，把示范、评价或环境经验固化到参数中；快路径是脚手架改进，更新 prompt、memory、tool 和控制逻辑。 真正可靠的自我改进系统需要满足几个条件：更新信号可验证，改进过程可归因，失败能够回滚，评测不被静态 benchmark 绑架，安全边界持续可审计。未来的 Agent 不应每次交互后重置，而应能在受控范围内积累经验、修正结构、扩展能力。也正因为如此，自我改进会成为 Agent 系统从“会执行任务”走向“会长期成长”的关键分水岭。