把更多历史放进上下文,或者接入向量数据库,是否就让大模型拥有了长期记忆?这篇综述给出的关键区分是:检索关注“找回什么”,长上下文关注“一次能读多少”,而记忆还必须回答“什么值得保存、何时更新、怎样处理冲突、能否遗忘,以及是否真正改善未来行为”。 上海交通大学、中国电信人工智能研究院(TeleAI)与 XSci 研究者撰写的《Learning to Remember: Advances in Memory Mechanisms for Large Language Models》,围绕记忆生命周期、存储载体和系统角色,梳理非参数化记忆、参数化记忆与面向智能体演化的记忆。它既讨论文本、图、多模态、键值缓存与模型权重,也把评估、隐私、删除和可审计更新纳入同一分析框架。 本文按原文九章及其小节顺序整理,保留第6至8章关于行为演化、基准和未来挑战的主要论点。原文是一篇机制综述,并未给出新的统一模型性能实验;认知科学概念只是设计词汇,不意味着现有大模型记忆与人类记忆等价。 论文信息:作者 Chenye Han、Hongche Yu、Mengyue Wu、Dell Zhang、Jixiang Luo。arXiv 编号2610.35089,首版提交于2026年10月26日。 原文链接:论文全文;摘要与版本信息。
传统大模型的固定上下文、静态参数与跨交互状态保持不足,限制了长期协作。对话助手需要记住偏好并更正过期事实,知识型系统需要复用证据,长程智能体则需要从轨迹中形成经验与技能。
记忆因此不只是扩展输入容量,而是让信息随时间被保存、检索、修订并参与行动。MemoryBank、COMEDY 等强调对话连续性,Mem0 等系统则将更新和维护操作显式化。真正需要比较的,不是系统保存了多少内容,而是内容是否正确、相关、可控,并在未来发挥作用。
综述将记忆作为显式设计对象,结合关键词检索与前后向引文追踪,覆盖论文、预印本、基准、系统文档与项目资源。纳入对象需要明确涉及写入、存储、检索、更新、压缩、遗忘、治理或评估机制。 一次性检索、普通提示压缩或长上下文推理,只有直接涉及持久性、生命周期管理或记忆引导未来行为时才进入讨论。因此,这不是一般性的检索增强生成或智能体框架清单。系统文档与算法论文提供的证据类型也不同,不应把工程接口展示直接当作隔离变量后的性能证明。
检索增强生成通常以相关证据检索为中心;长上下文以单次推理可处理的容量为中心;记忆则以生命周期为中心,需要选择写入内容、表示形式、更新时机、冲突处理、删除方式和行为收益。 三者可以组合,却不能互相替代。一个系统即使能检索大量文档,也可能不会维护用户事实;即使能读取很长历史,也可能没有跨会话状态、删除语义或过期知识管理。
论文用五类反复出现的操作比较不同实现。 构建把对话、文档、感知流或模型状态转成记忆单元,可以是事实、事件、关系、摘要、帧或激活。写入是有选择的转化,不应默认等于原始日志全部入库。 管理通过压缩、去重、冲突解决、时间衰减、权限、版本与同步维护质量。检索把当前任务所需内容重新带入推理,可使用关键词、稠密向量、混合检索、图遍历、时间过滤或符号查询。 巩固与遗忘决定哪些记录变为长期知识、哪些合并为抽象、哪些衰减或删除。评估与治理则检查下游收益、安全性、隐私与可审计性;它们是贯穿系统的要求,而非记忆写好之后才补上的步骤。
图1:大模型记忆的生命周期。信息从来源进入构建、维护和检索,再经巩固或遗忘形成受治理的复用闭环;权限、隐私过滤和审计贯穿其中。来源:原文图1,第5页;保留原图内容。
非参数化记忆把信息保存在模型参数之外,如文本、向量数据库、知识图和多模态档案;参数化记忆按本文较宽口径涵盖内部激活、键值缓存、可训练模块、适配器和权重;面向智能体演化的记忆则强调经验如何支持行为改进。 第三类主要按系统角色组织,前两类更多描述载体,因此它们可以交叉:一条外部文本技能同时可能服务智能体演化。评估不是第四种存储技术,认知概念也不是额外的实现家族。
图2:记忆机制的总体分类与评估关系。认知概念提供设计词汇,生命周期串联三类计算机制,评估作为横向维度检验长期收益。来源:原文图2,第7页;保留原图内容。图中连线不表示所有系统必须按三类机制依次执行。 跨机制比较需要统一追问:记忆单元是什么,谁决定写入,能保留多久,如何修改与忘记,怎样进入后续行为,来源与删除能否被证明。这样才能超越“用了某个数据库或模型模块”的表面分类。
作者明确把认知科学放在概念启发层,而非技术贡献中心。情景记忆提示系统保存带时间、参与者和任务背景的事件;语义记忆提示从多次观察中抽象事实与偏好;工作记忆对应短期目标和中间状态;程序性记忆对应可复用流程与技能。 巩固、遗忘、情境绑定和预测误差等概念,还提示系统为记忆附加来源、时间、适用范围、置信度与冲突信号。记忆是否值得长期保留,不应只由语义相似度决定。 但工程记录不是人的回忆,压缩也不是生物学巩固。抽象可能抹去来源和不确定性,长上下文或缓存也不能直接等同于长期记忆。认知类比应帮助提出设计问题,不能代替显式验证、日志和回滚机制。
非参数化记忆的共同特征,是在模型参数之外保存可检查的信息。文本强调紧凑表达,图强调关系,多模态强调感知证据,数据库与系统层则负责元数据、索引、权限和持久化。
图3:非参数化记忆的代表性存储形式。由左至右为文本与向量、关系图、多模态事件,以及系统或数据库层;最后一类是管理多种外部表示的工程层,不必与其他载体互斥。来源:原文图4,第10页。
文本记录易于检查、编辑、嵌入检索和回填提示,因此很适合对话、偏好和任务笔记。但把事件、图片或工具状态压缩成文字后,系统找回的可能只是看似合理的摘要,而不是可用于更正和验证的证据。
MemoryBank、COMEDY 展示紧凑摘要的作用;Mem0、RecMem、SimpleMem、LightMem 等进一步关注重要性筛选、延迟巩固、递归压缩和分层更新。区别不只是“摘要写得好不好”,还在于即时写、选择性写、周期写或分阶段写。 即时记录利于召回,却容易积累噪声和隐私;延迟或选择性记录节约成本,却可能漏掉日后重要的少见事实。可靠写入需要明确重要性、冲突、来源和删除条件。
BM25、稠密检索和重排序可作为基础;Text2Mem、RF-Mem、MemSearch-o1、MemoRAG 等进一步引入操作控制、不确定性感知或推理引导搜索。 长期任务需要的不只是“最相似条目”,还包括时间过滤、矛盾检查、更新决定,以及证据不足时不作确定回答。召回更多过期或幻觉记录,反而可能放大错误。
Letta/MemGPT 强调有限上下文与外部存储之间的分页,MemOS 把记忆作为可调度资源,MIRIX、LangMem、Zep、OpenMemory 等反映了接口、用户档案、来源与跨会话状态管理的重要性。 这些平台的价值在于把生命周期变成可操作接口。但产品文档往往证明功能与部署方式,研究论文则可能隔离检索、更新或压缩机制;二者的证据不能直接混成性能排名。
图记忆把信息表示为实体、边、事件和社区,适于多跳关系、时间变化与可解释路径。HippoRAG、RET-LLM 等关注关系证据检索;Graphiti/Zep、AriGraph、MAGMA 等进一步组织层级或时间关系。 代价是抽取和维护依赖。一条错误边可能误导多条推理路径,自动补全还可能把不确定推断固化成事实。节点合并、事件切分、过期关系退役、矛盾版本保留及边级删除,都需要明确策略。 关键不在于“有没有图”,而在于更新压力下,图操作是否比简单文本检索提供了更可靠的证据。来源、置信度与时间有效性应成为关系本身的一部分。
核心选择是哪些内容保留为原始证据、哪些转为描述、哪些索引为事件。全部文字化成本低,却可能损失感知依据;保留原媒体便于核验,却增加存储、索引和隐私成本。
图像、截图、外观和界面历史需要保留对象身份、区域、空间关系和来源图。DeepImageSearch 关注视觉历史中的相关图像检索,PersonaVLM 关注个人化视觉偏好,界面记忆还需保存控件、布局及交互轨迹。 评价应检查原始感知锚点能否被找回和纠正,而不只是读取文字说明后回答正确。
视频在视觉记忆之上增加事件边界、对象轨迹、音画时序和因果顺序。字幕与事件索引方法减少整段视频输入,VideoAgent、VideoARM、GCAgent 等则将事件、对象或层级记忆接入工具化推理;具身与流式系统还涉及深度、姿态、在线索引和压缩。 生成任务中的记忆又承担一致性控制。MotionRAG、StoryMem、MemFlow 等使用动作、视觉或故事状态,减少长输出中的身份、几何和叙事漂移。它们需要以原始证据关联、时间连贯与身份一致性评估,不能只看问答准确率。
文本最便于部署,但可能丢失结构;图便于关系追踪,却有抽取噪声和维护成本;多模态保留感知历史,却要平衡压缩与可恢复证据;数据库层支持权限、版本和审计,但需要良好的模式设计与应用集成。 非参数化记忆的优势是可控,而非天然正确。保存每次交互可能造成噪声与泄漏,过度摘要则可能丢失处理矛盾所需的证据。记忆单元与写入策略,往往比数据库品牌更决定系统能力。
本文把内部状态、激活缓存、可训练模块与权重等统一放在广义参数化记忆中讨论。需要特别说明:键值缓存属于内部计算状态,不等于模型权重被更新;这一分类包含短期工作记忆,也包含更持久的参数知识。
图4:模型内部的缓存、记忆标记与权重记忆。键值缓存围绕注意力保存临时状态,记忆标记可从输入端引入,权重编辑或模块更新则提供更持久的信息载体。来源:原文图5,第15页;示意位置不表示所有模型均采用同一结构。
键值缓存保存前面标记的键和值,避免重复计算,并让当前推理访问已有上下文。默认情况下,它服务当前或缓存会话;只有明确保存、检索并跨会话复用时,才具有相应长期记忆属性。 Transformer-XL、Memorizing Transformer、LongMem、MA-LMM 等采用递归、缓存检索或内部状态存储扩展可用历史。记忆对象往往是激活,而非可直接编辑的事实,因而连续性和效率收益不能替代来源、纠错和删除能力。 H2O、SnapKV、PyramidKV、ChunkKV 等关注保留、淘汰和压缩;PagedAttention、MemServe 等还从服务资源管理出发。除吞吐和损失外,应测量被丢弃的状态后来是否关键,以及压缩状态是否支持更新与遗忘语义。
ROME、MEMIT 将事实关联的修改定位到部分权重,WISE 区分主记忆与侧记忆,MemoryLLM 在模型中加入潜在记忆池。R3Mem、Engram、MemoryDecoder、GradMem、STEM 等进一步探索可学习向量、查找、压缩或测试时更新。 LoRA 可以承载任务、领域、用户或偏好信息,但标准 LoRA 本身不是在线记忆系统。是否与写入、组合、选择调用和回滚策略结合,才决定它在记忆系统中的具体作用。 内部信息可以紧贴计算、减少部分显式检索开销,却更难定位、审计和精确删除。测试时优化或稀疏查找也各有成本,因此不能将“内部化”简单理解成无代价提速。
激活缓存主要解决短期连续性与推理效率;权重和学习模块更持久,却可能发生干扰和副作用。评价需同时检查持久性、修改局部性、可逆性、无关行为变化及隐私暴露。 对安全或隐私敏感应用,原文建议配套外部来源记录和编辑日志,验证更新是否只影响目标知识。记忆变得难以观察,不应被误解为记忆已经更可靠。
这一类记忆不以复述过去为终点,而是把轨迹、奖励、失败、反思和流程转为未来行动资源。经验库、技能与执行框架可以相互配合,但收益需要落实到后续行为。
图5:经验如何进入智能体的自演化循环。环境交互产生轨迹,经过存储、反思评估和程序性更新,再指导未来执行;图示为通用循环,不构成长期改进保证。来源:原文图6,第18页。
MemAgent、Memory-R1、Mem-α 等把记忆管理纳入学习。其中 Memory-R1 将增加、更新、删除和不操作等管理动作,与回答任务分开。这样,写记忆成为有下游后果的决策,而非被动日志。 Memento、ReMe、MemRL 等探索部署时经验复用与行为适配,并不总要微调主干模型。核心难点仍是贡献归因:哪些经验真正导致改善,哪些只是与成功相关,哪些应在变成脆弱习惯之前被遗忘?只报告重复任务上的成功率不足以回答这些问题。
Agent Workflow Memory、MemSkill、ReasoningBank、Memento-Skills 等将成功或失败轨迹抽象为工作流、推理模板和可执行过程。相较原始情景记录,技能更紧凑;相较参数更新,它又可能保持为可检查的外部资产。 风险也来自抽象:一次依赖特定基准捷径的成功可能被写成通用技能,错误假设可能被保留,环境改变后旧工具策略可能不安全。因此需要技能验证、版本、退役和回滚,评估跨任务迁移与稳健性,而不是只在近重复环境里反复成功。
ACON、AgentFold、SWE-Pruner、LCM 等将记忆放进运行时管理:哪些文件、轨迹、摘要、工具结果和执行状态可见,哪些被折叠、剪枝或外部化。它关注的不只是内容本身,还包括系统如何把状态呈现给模型。 这对软件、网页和长工作流很重要,但性能提升也可能来自更方便的工具接口,而不是更好的记忆机制。评估应隔离持久性、检索和更新收益,避免把额外上下文或工具便利全部记到“记忆增强”名下。
强化与持续学习把经验当作反馈,程序性记忆将经验转为行动知识,执行框架保存可恢复的中间状态。三者可以组成经验到技能、再到执行的链路。 它们也可能分别固化偶然成功、保存不安全流程,或把过期文件当作可靠证据。核心标准应是:存下的经验是否真正改善了未来行为,并且可以审计、撤销和安全退役,而不是经验条目越多越好。
LoCoMo、LoCoMo+ 关注长程对话和超出简单事实召回的能力;LongMemEval 测量信息提取、跨会话与时间推理、知识更新和证据不足时的回答克制。PersonaMem、MemoryAgentBench、HaluMem 等分别补充个性化、记忆能力和幻觉诊断等视角。 LongBench、LongBench v2、NoLiMa 等相邻长上下文基准可作为对照,用于区分持久记忆与把更多证据放进长提示的效果。不能因为使用了某个长文本任务,就认定已经测试跨会话更新和删除。
Video-MME、LVBench 等考察视频理解和时间推理,TeleEgo 涉及第一视角多模态记忆,DeepImageSearch 关注记忆引导图像搜索,Persona-MME 和 RoboMemArena 分别涉及个性化及具身场景。 这些资源与记忆研究相关,但不都单独验证完整生命周期。关键是避免“字幕问答答对”掩盖对象身份、空间关系和细粒度视觉证据已经丢失。生成任务还应检查跨时间的故事、外观和动作一致性。
AppWorld 通过应用与接口任务检查多步执行中的指令、状态和工具结果保持;MemoryBench、AMemGym 提供反馈驱动或长程交互设置;ARE 面向变化环境中的恢复;OdysseyBench 覆盖文档、表格、邮件、日历及中间文件之间的长程协作。 相比静态问答,交互环境更能暴露错误记忆如何影响行动,以及任务中断后是否能恢复。但任务完成率仍需与存储、检索、更新和使用过程关联,不能只看终点结果。
图6:记忆增强模型的能力导向评估维度。表中依次讨论持久性、更新与冲突、选择性写入、检索依据、幻觉与证据不足时的回答,以及隐私和删除;它是评价框架,不是模型性能排名。来源:原文表9,第23页;保留原表内容。 原文建议同时测量六类能力:跨会话信息是否保持;新证据能否修订旧记录;是否只写有用信息;检索内容是否相关且正确使用;是否虚构从未发生的交互;敏感信息是否受到保护并可被删除。 相应指标包括延迟查询准确率、更新正确率、矛盾解决率、记忆精确率与召回率、存储增长、证据正确性、虚假记忆率、适当不答的准确率、泄漏率与删除成功率。回答正确只是一个结果,不足以证明写入、维护和使用均正确。
文本、图、向量、缓存、工具轨迹和用户档案常被临时拼接。统一组织不意味着把它们全部压成同一种表示,而是让不同记忆类型能对齐来源与更新历史。 作者提出将内容与元数据分离:内容记录记住什么,元数据记录来源、时间、置信度、权限、访问历史和删除状态。这样才有可能跨系统审计、比较与迁移,而不是只有一个无法解释的相似度索引。
写太多、写太少和写错抽象,都可能造成长期失败。写入策略应区分长期事实、短期偏好、临时任务状态和不确定观测,并支持明确的冲突处理与置信度修订。 更重要的是用延迟下游任务评估写入,而不只看即时信息提取。当前看来不重要的细节可能后来关键,当前高频的信息也可能只是重复噪声,写入质量需要时间尺度上的验证。
有用记忆可能很旧、间接相关、受权限限制,或已被新事实推翻。检索需要结合任务目标、记忆类型、时间、图关系、权限与不确定性。 原文讨论多阶段方案:先判断任务和所需记忆,再找候选,最后验证时效、兼容性与来源可靠性,才注入上下文。高相似度不应绕过权限或冲突检查,召回也不应被默认视为事实确认。
视觉与音视频记忆需要保留身份、空间、音画时序及原始证据链接。紧凑摘要应与可检索帧、区域、音频片段、轨迹和屏幕状态结合,测试能否返回原模态核验。 长视频理解需要跨小时的事件、实体与时间索引,长视频生成需要身份、布局、动作和叙事保持,世界模型与具身智能又要求联系场景状态、物理约束和动作后果。未来基础设施应联合在线压缩、分层事件图和原始证据检索,而不是只增加抽帧或短期缓冲。
多用户、多智能体和端云协作需要隔离记忆范围、权限感知检索、来源跟踪、冲突处理和删除记录。内部参数记忆尤其难以精确检查和移除,不能把“不再返回某条记录”直接当作所有载体中的信息已被删除。 用户同意、存储范围和访问策略应成为技术接口的一部分。治理不仅限制风险,也决定系统能否解释“为什么记住了这件事”和“更正后还有什么残留”。
幻觉事实写进记忆后可能成为持久错误;错误图边可能反复带偏多跳推理;噪声画像可能长期影响个性化;为错误原因成功的流程可能固化为技能。 因此,写入应视为高影响操作。原文建议采用不确定性感知写入、来源关联、冲突检测、周期审查,以及技能退役或回滚。一次局部成功不能自动获得长期、跨任务的使用资格。
现有基准分散覆盖对话、长上下文、多模态和交互环境,需要更完整的写入、更新、幻觉、隐私、时间一致性与任务收益评价。 一个重要方向是受控记忆消融:移除、污染、延迟或替换记忆,再观察后续行为,判断模型是否真正依赖目标记忆机制。同时用长上下文等对照排除更多输入带来的收益,避免把模式匹配误写成长期记忆能力。
大模型记忆研究已经从简单检索增强,发展为外部存储、图、多模态、内部模块与经验演化共同构成的生态。这篇综述最有价值的组织方式,是把载体、生命周期、系统角色和评价证据对齐。 面向长期协作,真正的问题不是“能不能多记一点”,而是:能否选择正确内容、维护时间与来源、可靠检索、及时纠错,并安全遗忘;能否证明这些记忆改善未来行为,而非仅让当前回答更像知道过去。 未来系统可能融合多种载体,但融合必须伴随明确治理和可检验的长期收益。认知概念可启发设计,不能代替机制证据;更大的存储量,也不能代替可靠的写入和维护。
原文信息:Chenye Han 等,Learning to Remember: Advances in Memory Mechanisms for Large Language Models,arXiv:2610.35089。论文全文;摘要与版本记录。本文为中文整理,具体系统及基准细节请结合原文与所引研究阅读。