Memory systems have been designed to leverage past experiences in Large Language Model (LLM) agents. However, many deployed memory systems primarily optimize compression and storage, with comparatively less emphasis on explicit, closed-loop control of memory retrieval. From this observation, we build memory retrieval as an autonomous, accurate, and compatible agent system, named MemR$^3$, which has two core mechanisms: 1) a router that selects among retrieve, reflect, and answer actions to optimize answer quality; 2) a global evidence-gap tracker that explicitly renders the answering process transparent and tracks the evidence collection process. This design departs from the standard retrieve-then-answer pipeline by introducing a closed-loop control mechanism that enables autonomous decision-making. Empirical results on the LoCoMo benchmark demonstrate that MemR$^3$ surpasses strong baselines on LLM-as-a-Judge score, and particularly, it improves existing retrievers across four categories with an overall improvement on RAG (+7.29%) and Zep (+1.94%) using GPT-4.1-mini backend, offering a plug-and-play controller for existing memory stores.


翻译:记忆系统旨在帮助大语言模型(LLM)智能体利用过往经验。然而,许多已部署的记忆系统主要侧重于压缩与存储的优化,而对记忆检索的显式闭环控制关注相对不足。基于这一观察,我们将记忆检索构建为一个自主、准确且兼容的智能体系统,命名为 MemR$^3$。该系统包含两个核心机制:1)一个路由器,用于在检索、反思与回答三种动作间进行选择,以优化回答质量;2)一个全局证据缺口追踪器,能够显式地使回答过程透明化并追踪证据收集进程。该设计通过引入闭环控制机制以实现自主决策,从而有别于标准的“检索-回答”流水线。在 LoCoMo 基准测试上的实证结果表明,MemR$^3$ 在 LLM-as-a-Judge 评分上超越了强基线模型;特别地,在使用 GPT-4.1-mini 后端时,它在四类现有检索器上均实现了性能提升,对 RAG(+7.29%)和 Zep(+1.94%)带来了整体改进,为现有记忆存储提供了一个即插即用的控制器。

0
下载
关闭预览

相关内容

ICLR'21 | GNN联邦学习的新基准
图与推荐
12+阅读 · 2021年11月15日
【NeurIPS2019】图变换网络:Graph Transformer Network
国家自然科学基金
17+阅读 · 2017年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
17+阅读 · 2017年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员