综述｜自演化智能体的安全：从一次回答到可复用经验的全生命周期
论文：Safety in Self-Evolving Agents: A Survey 作者：Jiahao Chen、Zhou Feng、Oubo Ma 等，通讯作者 Shouling Ji 机构：浙江大学、华中科技大学、西安交通大学等高校及企业研究团队 原文：arXiv:2610.00093v1，80 页、6 幅图、13 张表，预印本。 论文链接：论文页面｜完整 PDF 资料链接：项目主页｜文献仓库
导读：智能体越用越熟练，是否也会越用越安全？一次成功的操作可能被保存为记忆，一段经验可能被压缩成规则，一条规则又可能被编译为可执行技能。风险不只来自恶意内容：原本正确、合法的信息，一旦获得更长的保存时间、更高的权限或更广的适用范围，也可能越过安全边界。 这篇综述以“可复用影响”为主线，提出 SAVER：将状态载体与适应操作配对，再追踪安全属性违背、可观察的暴露以及治理响应。它把“挡住一次攻击”与“消除未来仍可激活的原因”区分开来，为长期记忆、技能库、多智能体协作和运行时模型更新提供统一的分析视角。 以下沿原文十节及附录展开，采用原图与中文图注。实验数据为综述转述的特定结果，不作跨论文排名或发生率外推。
1 引言
传统大模型安全主要问：当前回答是否安全、真实、对齐？工具智能体进一步问：这次动作是否得到授权？自演化智能体增加了第三个问题：过去的经验转化为持久状态后，未来使用它的条件是否仍然合法？
这里的自演化不限于更新模型权重，也包括在智能体循环内修改记忆、工具定义、技能、工作流或协作结构，并让这些更新改变后续行为。一个片段可以先是网页数据，再成为记忆，继而成为规划规则和工具参数。按组件或攻击类型分别研究，容易切碎这条因果链。 作者提出三项判断。第一，合法状态可能因复用方式变化而变得不安全。第二，攻击与恢复的证明负担不对称：找到一条成功路径可以证明攻击存在，但恢复需要覆盖相关的未来激活位置。第三，终点分数无法说明持久原因是否消失；阻断、删除及恢复必须分开报告。
2 自适应状态安全
2.1 运行场景与研究范围
个人助理保存偏好，工作流智能体提炼成功流程，多智能体团队共享计划，部署控制器加载新适配器，都可能把过去事件变成未来原因。状态不只指当前存储的对象，还包括能够重建或再次激活、影响后来行为的信息。 静态语料检索属于相邻场景，运行中更新可复用状态属于核心范围。时间维度关注延迟激活；空间维度关注跨载体、智能体及权限体系的流动。
2.2 自演化智能体的形式化描述
状态分为模型侧、记忆上下文、工具技能及工作流路由。循环包括观察、执行、反馈、提出候选、选择和提交；执行轨迹与被选更新分开记录，也可不更新或先隔离。 效用代理排序，授权条件决定能否提交。局部有用不等于获准推广：任务成功不自动授权跨任务规则；通过检查也不代表未编码的用户要求得到满足。
2.3 安全属性与转移测试
安全属性包括来源、权限、作用范围、隐私、时效、资源预算、可审计性和可恢复性。每次转移都要问：什么对象移动了，哪些属性变化了，什么未来动作因此获得了影响依据？ 存储权限与激活权限不同。系统可以保存文档，却不能让文档授权转账；可以记住用户偏好，却不能在不相关任务中将其当作长期指令。推广到更持久、更通用或更能驱动动作的角色时，必须有明确授权、反例保留和可追踪的派生关系。旧授权是否仍适用于改变后的智能体，也是独立问题。
2.4 以状态转移为中心的综述框架
SAVER 的五个字段分别回答：影响住在哪里；如何被改变；哪项安全属性失效；在哪里可观察；如何隔离、修复或撤销。其关系写作 S × A → V → E → R，但这是分析顺序，不要求等到损害发生才干预，写入前的检查也可以拒绝候选。 长期分析需记录候选来源、评价器版本、授权及拒绝证据。SAVER 不替代访问控制或风险管理；记录不完整也不单独证明不安全，只会限制诊断与恢复声明。
2.5 文献图谱与定位
直接研究安全状态转移的是核心证据，能力机制和治理概念是相邻或背景材料。记忆研究观察写入与延迟激活，工具研究观察外部效果，多智能体研究补充传播，模型更新揭示更难检查的载体。 持久性不等于传播，工具阻断不等于派生状态修复；部分轨迹只支持部分结论。编码限制见附录。
3 承载安全属性的状态载体
3.1 状态载体作为权限体系
同一句“为这个用户选择最快的方案，即使更贵”，可以是网页陈述、临时笔记、长期偏好、技能参数、工作流策略或工具参数模板。文字相同，其持久性、适用范围、动作能力和恢复方式却不同。 因此载体不是中性存储位置，而是决定信息可被怎样保留、解释、调用和执行的权限体系。来源和当前授权必须随迁移保留，不能从新载体的名称推断可信度。
3.2 提示与上下文载体
一次模型调用的上下文混合系统指令、用户要求、检索证据、工具结果与历史。即便不长期保存，也可能立即触发不可逆动作。上下文重建还可能把低权限数据放入更高的消息角色，或从单会话扩展到项目、用户范围。
3.3 长期记忆载体
偏好、事件摘要、用户画像、反思笔记和历史经验支持个性化，也让提取和总结成为安全相关的写操作。外部内容被写成内部记忆后，可能在新会话中以“已知事实”的姿态返回。 GhostWriter 等研究观察恶意写入及后续激活；PASB、AuthMem-Bench 等则说明普通陈述的持久化、来源消失或权限合并也可能造成问题。治理至少要区分能否提交、整理是否保留来源约束、后来是否适合使用三个环节。
3.4 检索与知识载体
分块可能切掉限定语，向量相似性可能连接不相干任务，重排序可能让低可信来源显得重要。检索相关性只是匹配证据，不是执行许可。 语料准入、索引及提示组装应继续区分资料与指令，保存来源、范围和权限。命中记录不能解释执行授权。
3.5 工具、应用接口与接口载体
工具模式、凭据、参数模板、返回记录及连接器描述既决定外部动作，也提供下一轮状态的输入。注册工具、修改模式、授予权限和缓存结果，都不是中性管道操作。 出站检查动作授权；入站附上来源及范围，避免返回结果变成长期指令。
3.6 技能与程序载体
记忆描述发生过什么，技能更接近规定怎样做。代码片段、提示宏和工具操作配方一旦可被跨任务调用，旧假设和复制的权限就可能反复执行。 技能提取或模仿可能隐藏不可信来源，却保留其行为影响。SkillJack、EVOMAL 等研究使源记录到技能后代的关系可观察。因此技能信任依赖来源、版本、前置条件及其他技能依赖，不能只看当前名称或作者。
3.7 工作流、规划器与拓扑载体
委派边、重试规则、审批要求及编排模板决定谁可以行动、任务向哪里流动、最多消耗多少资源。一次局部捷径可能变成自动审批，一条重试策略可能变成无界循环。 共享计划时，接收者可能赋予不同权限。治理要记录路由变更、推广依据及撤销控制点。
3.8 外部产物与共享状态载体
文件、工单、仓库、数据库和报告可以在原运行结束后成为别人的证据或自动化触发器。修正内部记忆不能自动修复已经扩散的外部产物。 应分别说明可更正、可撤销和只能通知的派生版本，不把共享记忆结果直接外推到全部外部文件。
3.9 模型与策略载体
参数、适配器、策略提示、奖励模型、缓存及遗忘补丁，只有在智能体循环中被创建、选择、加载、继承或回滚并影响未来行为时，才进入本文核心范围。 这些影响比显式记忆更难直接读取，需要更新谱系、部署清单、安全回归探测与残留触发测试。治理日志、隔离名单和回滚快照也会成为可复用状态，其完整性同样要保护。
4 状态改变与激活操作
4.1 新增：创建可复用影响
新增把临时内容变成以后可用的对象。反馈提醒、用户偏好或新技能都可能有益，也可能把一次性信息保存为无条件规则。写入时应记录来源、建议性或指令性角色、适用范围和撤销句柄，而不是只检查语句是否“看起来有害”。
4.2 抽象：压缩状态与重新分配安全属性
总结、聚类与经验提炼可能保留事实，却丢掉项目边界、不确定性、时限和来源授权。多个单独可接受的片段还可能被总结器重新连成可执行的危险指令。 因此原材料通过检查，不代表派生产物安全。抽象后要同时检查内容与权限，并保留能够支持后续失效处理的来源链接。
4.3 激活：让存储状态获得当前权限
状态只有在影响当前推理、规划或动作时才被激活。检索到的记忆可以作为背景，却未必获准填写工具参数。CaMeL 分离可信控制流与不可信数据；DRIFT 检查运行时偏离；ControlValve 约束多智能体调用边。
4.4 修改：调整内容、安全属性与权限
修改可以纠正冲突，也可能扩大规则。旧偏好被新要求覆盖时，应明确改变有效期、优先级和适用范围；不能只替换一句文字而让旧派生规则继续激活。
4.5 遗忘：使影响及派生状态失效
删除、过期、隔离和回滚都属于撤回影响，而不仅是存储动作。源对象消失后，总结、索引、缓存、规则和技能仍可能保留其后果。 历史记录可以作为受限审计证据留下，但不再拥有行动权限。
4.6 传播：跨参与者与上下文复制影响
传播增加激活位置，并可能改变接收者赋予的信息角色。共享记忆传播与编排控制流劫持不同：前者传递内容或实践，后者改变哪个组件能够运行。 源端修正不能保证其他智能体的副本同步失效。传播记录必须支持沿原路径更正和撤销，分别追踪内容路径与调用路径。
4.7 迁移：跨越不同权限体系
迁移改变信息使用制度：笔记进入长期记忆更持久，记忆变为技能更可执行，局部观察成为共享产物则扩大受众。内容即便不变，消息角色或范围的重建也可以构成迁移。 迁移门禁应检查新角色是否获准、来源约束是否保留、后续激活是否可归因、回滚能否触及新行为。只比较字符串无法判断跨载体的功能影响是否已经消失。
4.8 组合路径
实际演化常是“新增—抽象—激活”或“迁移—传播—再次激活”的组合。局部成功被泛化为长期规则、普通经验积累改变行动倾向、多个良性经验组合削弱边界，分别需要不同实验识别。 这些机制不全是记忆投毒。模型侧操作也须满足智能体循环边界，才能支持核心结论。
5 安全属性失效
5.1 来源丢失与安全属性洗白
整理后的陈述可能不再显示它是外部数据、用户偏好、模型推断还是授权策略，随后被赋予更强角色。问题不一定是事实被改错，而是“谁说的、允许怎么用”被抹掉。
5.2 权限、可行动性与边界升级
描述性信息被当作规划约束、工具参数或行动授权，局部偏好被升级为通用规则，都属于越界。上游组装器也可能直接赋予不可信内容更高角色，导致下游模型即使遵循可见指令层级，仍执行了来源从未拥有的权限。
5.3 隐私与目的限制失效
隐私可能在披露之前失效：敏感记忆丢掉用途、主体或保存期限约束后，被用于无关任务。另一类风险则是个性化上下文改变安全判断，使有害请求被解释为良性意图。两者需要区分，不能都简化为信息泄漏。
5.4 持久派生状态与不完整回滚
修正源记忆并不等于修正技能、总结及工作流后代。综述转述 SkillJack 的结果：在其报告条件下，80.0%的技能介导攻击在删除原投毒记录后仍持续。该数字说明特定协议中的源与后代差异，不是所有智能体的普遍风险比例。
5.5 运行完整性失效
重试策略或自评循环可能突破预算、速率、超时和停止条件；防护即便识别异常，也可能无法定位哪条规则造成它。资源约束与因果审计是两项不同义务，任务完成率不能代替成本和可追踪性检查。
5.6 模型安全退化
运行中加载或合并的更新可能削弱拒绝边界、改变工具选择或保留触发行为。模型侧范围通常更广、影响更难检查，因此需要按任务内外分别评测，并记录实际激活版本。不能把一般静态微调风险直接视为已验证的自演化智能体故障。
6 暴露界面与表现
6.1 记忆检索暴露
故障可能在新任务取回旧记忆时首次可见，但原因发生在早先写入或抽象。诊断需连接检索命中、提示组装和原始更新：前者说明选中了什么，后者说明它被当作证据、偏好还是指令。
6.2 工具与动作暴露
文件写入、邮件、购买、数据库更新、代码执行或高成本调用，可以暴露权限失效，即便最终回答没有危险文字。可执行评测应确认实际行为或提交的状态改变，而不把可疑计划、口头意图直接计为已发生的外部损害。
6.3 外部产物暴露
文档、补丁、配置和技能导出，可能在创建时就构成未授权写入，也可能在后来被消费时激活潜在问题。观察点必须由具体被违背的要求决定，并关联消费的版本、原始来源及适用范围。
6.4 跨智能体传播
一个智能体的不安全状态可能成为另一个的信念、指令或动作前置条件；协调器也可能组合出各组件单独不会执行的危险路径。真实实验室案例说明渠道值得关注，却不能用案例数量估计部署发生率。 内容谱系回答谁收到什么，调用谱系回答谁被授权运行什么。二者必须一起追踪，接收者没有直接服从恶意文本也不代表编排层安全。
6.5 面向用户的错误归因
流畅解释可能把受污染记忆造成的动作归因于模型倾向，导致错误地重训模型或加强输出过滤。内部需要可修复的状态轨迹，用户侧则应在保护隐私的前提下解释被采用的前提，支持纠正，而不必暴露全部内部记录。
6.6 治理盲点
防护阻止一次输出却留下可检索记忆，或权限策略禁止一次调用却保留危险工作流，都可能是成功的局部控制。未解决的持久原因要单独报告，不能既把它说成当前识别失败，也不能宣称已经完成恢复。
6.7 模型部署暴露
适配器、检查点、策略提示或安全分类器进入推理路径后，可能跨多任务改变行为。应保存部署清单、回归差异、范围限制、金丝雀测试和回滚记录，让症状能够对应实际加载的更新。仅看输出无法区分模型固有限制与新部署引起的变化。
7 治理、监控与恢复
7.1 预防性治理
先控制什么经验可以被推广，再控制什么内容可以入库。推广门禁应检验可迁移性、来源独立性、适用前提和授权，而不只保留成功轨迹。正确拒绝、安全中止、失败、修正及险情是限定规则适用范围的负面证据。 固定探测集上的更新前后对照，可以发现工具权限扩张、确认要求消失或拒绝边界变化。但这是综述提出的治理要求，不是已证明的通用防御；整套技能的组合效应也不能用孤立扫描完全替代。
7.2 转移与激活门禁
迁移时保留来源、敏感性、范围、权限、有效期及可逆性，目标载体无法表达必要约束时，应降权、脱敏、隔离或请求批准。激活时再检查用户、任务、工具、时间和外部效果，区分可见、可总结、可辅助规划、可填参数和可执行等影响等级。 CaMeL、DRIFT、Progent 和 ControlValve 控制的边界不同；共享记忆链路门禁又处理另一条跨智能体路径。动作许可之后，还需防止提供方结果不明确时把重试变成重复授权。局部控制、授权连续性与派生状态修复不能互相替代。
7.3 监控与隔离
运行监控发现指令冲突、权限升级、隐私或异常参数后，隔离可以冻结状态、停止检索、降权、暂停外部调用、清洁重规划或升级人工审核。 事件记录应说明激活对象、可能后代、风险动作、采取的措施及未来激活是否被冻结。审计和控制平面自身也需要保护完整性；模型侧则补充安全回归及残留触发探测。阻断位置的精确记录比单一阻断率更能解释防御作用。
7.4 恢复与可质疑的结案
恢复以发现的派生集合为范围，可涉及记忆、摘要、索引、技能、权限、缓存、共享产物和部署端点。先隔离并保留谱系，再修复，避免删除时抹掉重建因果链的证据。 删除验证继承同一清单，检查副本、抽象及同步位置的残留匹配和再次激活。报告必须明确已修复、已测试、不可访问和仍不确定的对象，而不能声称全局遗忘。 用户或运营者还应能质疑来源、允许用途及修复状态，触发冻结、纠正或重新审查。一个删除按钮不等于具备可质疑、可纠正的治理流程。
7.5 综合：治理跟随状态后代
记忆准入、工具授权、运行防护与模型更新控制应围绕同一事件、版本和修复清单协作。响应本身会形成新状态：隔离标记、守卫规则、测试用例和评价器更新又影响下一轮选择。 控制平面及治理记录也可能陈旧或失去约束，反馈的长期效果需要测量。
8 评测与基准
8.1 更新选择与推广的建议指标
作者提出三项测量契约，并非已有统一的跨论文标准：
- 安全推广率：通过声明的授权及属性保持测试的推广，占全部已提交推广的比例。没有推广时未定义，无法评估的推广需另报数量。
- 边界漂移：固定成对安全探测下，当前状态相对初始状态的决策差异。它测变化，不自带好坏方向，必须结合标签解释。
- 负面证据覆盖率：已观察到的安全相关非成功经验中，被保留或用于选择的比例。没有观察到该类经验时未定义；丢弃证据与从未产生安全替代方案要分开。
协议还应区分任务是否可完成与路径是否获准，分别报告正确中止、错误中止和授权升级。评价器与智能体都可能演化，因此必须同时版本化，保留固定安全探测，而不能将评分上升直接解释为更安全。
8.2 用状态转移框架读取现有基准
AgentDojo、InjecAgent 更直接观察工具后果；R-Judge 强于风险识别；记忆基准增加持久化与延迟使用；HarnessSafe、SkillMisevo-Bench、EVOMAL 连接了不同宽度或深度的状态链。它们观察的片段并不相同。
8.3 可比结果与安全效用取舍
攻击成功率、识别分数、记忆投毒成功率和干预率具有不同分母。合法比较需固定测量对象、转移片段及机会集合，不把检索尝试、被接受更新和组成的经验集合混为一谈。 以综述转述的 SkillMisevo-Bench 为例：21 个演化配置均产生不安全产物，19 个出现不安全检索及良性任务污染，15 个保留新会话损害。这是不同关卡，不是可互换的成功率。 其 SafeEvolve 对照中，平均不安全检索从35.33%降至8.67%，后续携带攻击成功率从21.33%降至4.00%；在线良性效用从58.44%变为58.00%，但后续携带效用从53.33%降至40.67%。因此“即时效用代价较小”不等于长期复用无损。 PASB 的分组也非随机关闭记忆的因果实验。比较需说明分组、基线及效用。
8.4 基准模式与缺失轨迹
新基准已增强跨载体、技能演化及源移除后的传播观察，但被拒绝候选、自然部署流、派生删除验证、用户质疑和恢复后的再演化仍不完整。
9 开放挑战
9.1 选择压力与内生漂移
只奖励显性成功，可能遗漏必要拒绝、确认和纠错条件。应在无恶意写入者的普通经验流中，固定评价探测，观察选择本身是否改变边界，而不是预设良性适应必然漂移。候选、拒绝理由和评价器版本决定这种归因能否成立。
9.2 迁移与语义保持
摘要、向量及生成技能可保留行为影响，却不保留原字符串。传统符号污点传播不足以覆盖语义改写。研究需要结合显式派生关系与内容检查，同时测残留影响、误隔离和有用迁移损失，避免全隔离或全放行。
9.3 激活、授权与模型作用范围
粗粒度许可便于复用，却可能隐藏范围扩大；频繁再授权则增加中断成本。应评估不合法激活与合法工作被阻挡两面，并分别检查旧授权在状态变化后是否仍有效、外部效果是否在固定上限内。 上下文组合造成的有害闭合，不等于持久更新引起的漂移。模型侧更新还应测试目标任务之外的影响、合并后的约束及回滚残留，不将谱系完整等同于行为已消除。
9.4 传播与分布式谱系
源端纠正时，接收者可能离线、保留旧副本，或不受源端修改权限控制。可行修复协议需要区分通知、确认失效和验证影响撤回，明确责任及不可达节点，而不是假设共享标识即可同步恢复。
9.5 恢复与验证
恢复既是追踪问题，也是推断问题：哪个后代仍携带争议影响？定向修复与广泛隔离应在相同发现预算下比较残留风险及效用损失。有限探测只能给出声明范围内的证据，不能证明未来所有上下文都安全。 用户应能纠正争议前提并获知未解决后代；恢复后继续演化的复测不可省略。
9.6 基准与治理证据链
减少更新、记忆检索或委派可能降低攻击机会，却同时移除被评测能力。基准应匹配效用与暴露条件，并公开机会集合和排除项。 共同事件标识只有在各控制点同意对象版本、允许用途及修复含义时才有价值。研究目标是验证局部控制能否组合，而非把日志连起来就假定获得生命周期保证。
10 结论
核心是判断早先信息在后来角色中是否仍可合法使用：载体决定权限体系，操作改变持久性、范围与可行动性，须共同分析。 另一项结论是恢复声明必须说明边界：局部阻断证明一次事件被停止；生命周期恢复还需说明发现并处理了哪些后代，以及继续适应后是否再激活。SAVER 的价值在于让这些声明可追踪、可比较，而不是宣称已经解决长期安全问题。
附录｜研究方法与审计补充
综述方法与语料协议
原文采用系统性范围综述，而非预注册系统综述或元分析。首轮583条记录去除4组重复或版本后得到579项，加48项人工审阅补充及56项正文引用扩展，冻结编码池为683篇；网页与标准等7项资源不计入论文数。 图1只用2023年至编码冻结窗口内、有可用日期的577篇。683篇中高置信编码51篇、中等83篇、低置信549篇；没有独立双人编码。因此数量是库存审计结果，不能估计领域风险发生率或据分类比例判断证据成熟度。
形式化状态转移模型
附录进一步描述载体、安全属性及部署上下文如何经操作和授权条件改变。效用选择与风险的协方差关系只是作者推导的条件诊断：强化效用偏好，只有在所选分布下效用与风险正相关时，才提高期望风险。它不是“优化必然不安全”的经验定律。
安全审计架构
附录以公开事件报告示范审计，标识由综述编码而非原运营日志生成。相邻基础设施事件不能直接证明内生演化故障或完整恢复。
筛选语料扩展
扩展表按治理、基准红队、记忆工具、工作流传播及模型更新列出资料。收录不等于核心实验证据，需区分直接观察、框架重读和缺口。 实验数据及限制以原论文与所引研究为准。
Safety in Self-Evolving Agents: A Survey
相关内容
微信扫码咨询专知VIP会员