Large language models (LLMs) excel at many NLP tasks but struggle to sustain long-term interactions due to limited attention over extended dialogue histories. Retrieval-augmented generation (RAG) mitigates this issue but lacks reliable mechanisms for updating or refining stored memories, leading to schema-driven hallucinations, inefficient write operations, and minimal support for multimodal reasoning.To address these challenges, we propose TeleMem, a unified long-term and multimodal memory system that maintains coherent user profiles through narrative dynamic extraction, ensuring that only dialogue-grounded information is preserved. TeleMem further introduces a structured writing pipeline that batches, retrieves, clusters, and consolidates memory entries, substantially improving storage efficiency, reducing token usage, and accelerating memory operations. Additionally, a multimodal memory module combined with ReAct-style reasoning equips the system with a closed-loop observe, think, and act process that enables accurate understanding of complex video content in long-term contexts. Experimental results show that TeleMem surpasses the state-of-the-art Mem0 baseline with 19% higher accuracy, 43% fewer tokens, and a 2.1x speedup on the ZH-4O long-term role-play gaming benchmark.


翻译:大型语言模型(LLMs)在众多自然语言处理任务中表现出色,但由于对长对话历史的注意力有限,难以维持长期交互。检索增强生成(RAG)缓解了这一问题,但缺乏更新或优化存储记忆的可靠机制,导致模式驱动的幻觉、低效的写入操作以及对多模态推理的支持不足。为应对这些挑战,我们提出了TeleMem,一个统一的长期多模态记忆系统,通过叙事动态提取维护连贯的用户画像,确保仅保留基于对话的信息。TeleMem进一步引入了结构化写入流程,对记忆条目进行批处理、检索、聚类与整合,显著提升了存储效率、减少了令牌使用并加速了记忆操作。此外,结合ReAct式推理的多模态记忆模块为系统配备了闭环的观察、思考与行动流程,使其能够准确理解长期语境下的复杂视频内容。实验结果表明,在ZH-4O长期角色扮演游戏基准测试中,TeleMem以19%的准确率提升、43%的令牌减少量及2.1倍的加速比超越了当前最先进的Mem0基线模型。

0
下载
关闭预览

相关内容

OpenAI 32页《智能体》指南,如何构建首个智能体系统
专知会员服务
50+阅读 · 2025年4月18日
多模态检索增强生成的综合综述
专知会员服务
44+阅读 · 2025年2月17日
智能体检索增强生成:关于智能体RAG的综述
专知会员服务
92+阅读 · 2025年1月21日
《大型多模态智能体》综述
专知会员服务
106+阅读 · 2024年2月26日
深入理解BERT Transformer ,不仅仅是注意力机制
大数据文摘
22+阅读 · 2019年3月19日
专访 | Recurrent AI:呼叫系统的「变废为宝」
机器之心
12+阅读 · 2018年11月28日
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
49+阅读 · 2009年12月31日
国家自然科学基金
17+阅读 · 2008年12月31日
Arxiv
0+阅读 · 1月21日
VIP会员
最新内容
美军MAVEN项目全面解析:算法战架构
专知会员服务
14+阅读 · 今天8:36
从俄乌战场看“马赛克战”(万字长文)
专知会员服务
8+阅读 · 今天8:19
最新“指挥控制”领域出版物合集(16份)
专知会员服务
15+阅读 · 4月12日
面向军事作战需求开发的人工智能(RAIMOND)
专知会员服务
20+阅读 · 4月12日
远程空中优势:新一代超视距导弹的兴起
专知会员服务
4+阅读 · 4月12日
大语言模型溯因推理的统一分类学与综述
专知会员服务
6+阅读 · 4月12日
相关基金
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
49+阅读 · 2009年12月31日
国家自然科学基金
17+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员