Large Language Models (LLMs) are increasingly expected to interact with users over long time horizons. However, due to their finite context window, LLMs cannot retain all past interactions, making long-term memory management essential for storing, updating, and retrieving historical information beyond the context limit. Although recent memory systems attempt to address this issue by storing historical information externally, existing approaches suffer from three key limitations: flat text-based memory organizations fail to capture explicit relations among memories, structured memory systems often destructively overwrite evolving facts, and current retrieval mechanisms remain query-agnostic and passive when evidence is incomplete. REAL constructs long-term conversational memory as a temporal and confidence-aware directed property graph, where each atomic fact is represented with entities, relations, valid-time intervals, confidence scores, and exploration intent labels. During memory construction, REAL adopts a non-destructive temporal update strategy that preserves parallel fact versions and their validity intervals, enabling faithful tracking of fact evolution. During retrieval, REAL anchors query-relevant root entities, decouples their exploration intents, and performs semantic evaluator-guided hybrid beam search to extract compact memory subgraphs. It further incorporates counterfactual inference to repair unreliable retrieval states and recover missing memory evidence through implicit logical relations. Comprehensive experiments demonstrate that REAL substantially improves long-term memory performance over flat-text, graph-based, and existing memory baselines, achieving an average improvement of 22.72\%.


翻译:大型语言模型(LLMs)日益需要与用户进行长时间跨度的交互。然而,由于其有限的上下文窗口,LLMs无法保留所有历史交互,因此长期记忆管理对于存储、更新和检索超出上下文限制的历史信息至关重要。尽管近期记忆系统尝试通过外部存储历史信息来解决该问题,但现有方法存在三个关键局限:基于扁平文本的记忆组织未能捕获记忆间的显式关系,结构化记忆系统常会破坏性覆写演化中的事实,当前的检索机制在证据不足时仍保持查询无关的被动状态。REAL将长期对话记忆构建为具有时序与置信度感知的有向属性图,其中每个原子事实通过实体、关系、有效时间区间、置信度分数和探索意图标签表示。在记忆构建阶段,REAL采用非破坏性时序更新策略,保留并行事实版本及其有效性区间,从而实现事实演化的忠实追踪。在检索阶段,REAL锚定与查询相关的根实体,解耦其探索意图,并通过语义评估器引导的混合波束搜索提取紧凑记忆子图。该框架进一步结合反事实推理,通过隐式逻辑关系修复不可靠的检索状态并恢复缺失的记忆证据。综合实验表明,REAL在长期记忆性能上显著优于基于扁平文本、图结构及现有记忆的基线方法,平均提升率达22.72%。

0
下载
关闭预览

相关内容

《大型语言模型(LLMs): 训练到推理》全面概述技术细节
一文详解LSTM网络
论智
18+阅读 · 2018年5月2日
【推荐】用TensorFlow实现LSTM社交对话股市情感分析
机器学习研究会
11+阅读 · 2018年1月14日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
40+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
1+阅读 · 今天14:45
定向能反无人机系统最新发展动态
专知会员服务
5+阅读 · 今天13:50
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
3+阅读 · 今天13:33
相关VIP内容
《大型语言模型(LLMs): 训练到推理》全面概述技术细节
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
40+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员