Large language model (LLM) agents demonstrate strong performance in short-text contexts but often underperform in extended dialogues due to inefficient memory management. Existing approaches face a fundamental trade-off between efficiency and effectiveness: memory compression risks losing critical details required for complex reasoning, while retaining raw text introduces unnecessary computational overhead for simple queries. The crux lies in the limitations of monolithic memory representations and static retrieval mechanisms, which fail to emulate the flexible and proactive memory scheduling capabilities observed in humans, thus struggling to adapt to diverse problem scenarios. Inspired by the principle of cognitive economy, we propose HyMem, a hybrid memory architecture that enables dynamic on-demand scheduling through multi-granular memory representations. HyMem adopts a dual-granular storage scheme paired with a dynamic two-tier retrieval system: a lightweight module constructs summary-level context for efficient response generation, while an LLM-based deep module is selectively activated only for complex queries, augmented by a reflection mechanism for iterative reasoning refinement. Experiments show that HyMem achieves strong performance on both the LOCOMO and LongMemEval benchmarks, outperforming full-context while reducing computational cost by 92.6\%, establishing a state-of-the-art balance between efficiency and performance in long-term memory management.


翻译:大型语言模型(LLM)智能体在短文本语境中表现出色,但在长对话中常因内存管理效率低下而表现不佳。现有方法面临效率与效果之间的根本权衡:内存压缩可能丢失复杂推理所需的关键细节,而保留原始文本则会给简单查询带来不必要的计算开销。问题的核心在于单一内存表示和静态检索机制的局限性,它们无法模拟人类灵活且主动的记忆调度能力,因而难以适应多样化的问题场景。受认知经济性原则启发,我们提出HyMem,一种通过多粒度内存表示实现动态按需调度的混合内存架构。HyMem采用双粒度存储方案与动态双层检索系统配对:轻量级模块构建摘要级语境以实现高效响应生成,而基于LLM的深度模块仅针对复杂查询选择性激活,并通过反思机制增强以实现迭代推理优化。实验表明,HyMem在LOCOMO和LongMemEval基准测试中均取得优异性能,在超越全上下文方法的同时将计算成本降低92.6%,在长期内存管理中实现了效率与性能的尖端平衡。

0
下载
关闭预览

相关内容

【泡泡图灵智库】HSfM: 混合运动恢复结构(CVPR)
泡泡机器人SLAM
11+阅读 · 2018年12月13日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
相关VIP内容
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员