Memory enables Large Language Model (LLM) agents to perceive, store, and use information from past dialogues, which is essential for personalization. However, existing methods fail to properly model the temporal dimension of memory in two aspects: 1) Temporal inaccuracy: memories are organized by dialogue time rather than their actual occurrence time; 2) Temporal fragmentation: existing methods focus on point-wise memory, losing durative information that captures persistent states and evolving patterns. To address these limitations, we propose Temporal Semantic Memory (TSM), a memory framework that models semantic time for point-wise memory and supports the construction and utilization of durative memory. During memory construction, it first builds a semantic timeline rather than a dialogue one. Then, it consolidates temporally continuous and semantically related information into a durative memory. During memory utilization, it incorporates the query's temporal intent on the semantic timeline, enabling the retrieval of temporally appropriate durative memories and providing time-valid, duration-consistent context to support response generation. Experiments on LongMemEval and LoCoMo show that TSM consistently outperforms existing methods and achieves up to 12.2% absolute improvement in accuracy, demonstrating the effectiveness of the proposed method.


翻译:记忆使大型语言模型(LLM)代理能够感知、存储和利用历史对话信息,这对实现个性化至关重要。然而,现有方法在记忆的时间维度建模上存在两方面不足:1)时序不准确性:记忆按对话时间而非实际发生时间组织;2)时序碎片化:现有方法侧重于点状记忆,丢失了捕捉持续状态与演化模式的持续性信息。为突破这些局限,我们提出时序语义记忆(TSM)——一种为点状记忆建模语义时间并支持持续性记忆构建与利用的记忆框架。在记忆构建阶段,TSM首先建立语义时间线而非对话时间线,进而将时间连续且语义相关的信息整合为持续性记忆。在记忆利用阶段,框架结合查询在语义时间线上的时序意图,实现时序适配的持续性记忆检索,并提供时间有效、持续一致的上下文以支持响应生成。在LongMemEval与LoCoMo数据集上的实验表明,TSM持续优于现有方法,准确率最高提升12.2%,验证了所提方法的有效性。

0
下载
关闭预览

相关内容

大型语言模型(LLM)赋能的知识图谱构建:综述
专知会员服务
56+阅读 · 2025年10月24日
迈向LLM时代的可泛化评估:超越基准的综述
专知会员服务
23+阅读 · 2025年4月29日
《以人为中心的大型语言模型(LLM)研究综述》
专知会员服务
41+阅读 · 2024年11月25日
时空序列预测方法综述
专知
22+阅读 · 2020年10月19日
R语言时间序列分析
R语言中文社区
12+阅读 · 2018年11月19日
基于LSTM深层神经网络的时间序列预测
论智
22+阅读 · 2018年9月4日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
23+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
VIP会员
最新内容
美国与以色列如何在攻击伊朗中使用人工智能
专知会员服务
2+阅读 · 今天16:20
《自动化战略情报管控》
专知会员服务
2+阅读 · 今天14:31
得失评估:审视对伊朗战争的轨迹(简报)
专知会员服务
2+阅读 · 今天14:19
【CMU博士论文】迈向可解释机器学习的理论基础
专知会员服务
2+阅读 · 今天12:23
基于数据优化的人机协同与机器人僚机
专知会员服务
6+阅读 · 今天2:08
相关资讯
时空序列预测方法综述
专知
22+阅读 · 2020年10月19日
R语言时间序列分析
R语言中文社区
12+阅读 · 2018年11月19日
基于LSTM深层神经网络的时间序列预测
论智
22+阅读 · 2018年9月4日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
23+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员