LLM-based memory systems increasingly maintain facts that evolve over time, where a recurring failure is conflict resolution: when a fact has multiple contradictory values, which should the agent return? MemoryAgentBench (MAB; Hu et al., 2026) makes this explicit in its FactConsolidation task: facts are numbered, the counterfactual has the higher serial, and agents are told newer facts have larger serials. Yet every published system underperforms: HippoRAG-v2 reaches 54% on single-hop (FC-SH), BM25 48%, Mem0 18%, and the temporal KG Zep/Graphiti just 7%. Multi-hop is near-unsolved (at most 7% across 22 systems). We argue the bottleneck is the assembly step: baselines leave conflict resolution to LLM-mediated retrieval or generation rather than version-aware aggregation. A matched-setup comparison (same backbone, retrieval, chunking, TOP_K) shows that replacing the LLM-judgment answer pipeline with candidate-extraction plus Python max(serial) yields +10.8 points on FC-SH (gpt-4o-mini), widening from +8 at 6K to +21 at 262K. This is a whole-pipeline effect (resolver, prompt, format, and temperature vary jointly); isolating the resolver is future work. The recipe reaches 78.0% on FC-SH (gpt-4o-mini), 94.8% (gpt-4o), and 30.2% on FC-MH (gpt-4o-mini, rising to 51.5% with gpt-4o) via a per-hop deterministic extension of Self-Ask. At matched-262K, it beats HippoRAG-v2 by +28 points and the best published FC-MH result by +20. The implication is corrective for the subfield: the bottleneck on conflict resolution is assembly (post-retrieval aggregation), not storage. A LongMemEval knowledge-update check shows the mechanism ports from max(serial) to max(timestamp) but only ties LLM judgment (57.8% vs 64.4%, n=45): deterministic aggregation is the right primitive for current-value conflicts and must be composed with question-type-aware handling for broader memory QA.


翻译:基于大模型的记忆系统需要持续维护随时间演变的事实,其中反复出现的故障点是冲突解决:当某个事实存在多个矛盾值时,智能体应返回哪一个?MemoryAgentBench(MAB;Hu等,2026)在其FactConsolidation任务中明确界定了此问题:事实按编号排列,反事实对应更高序号,且智能体被告知新事实的序号更大。然而,所有已发表系统表现均不理想:HippoRAG-v2在单跳任务(FC-SH)上达到54%,BM25为48%,Mem0为18%,时序知识图谱Zep/Graphiti仅达7%。多跳任务近乎未解决(22个系统中最高仅7%)。我们认为瓶颈在于聚合步骤:基线方法将冲突解决交由大模型驱动的检索或生成处理,而非采用版本感知式聚合。在匹配设置对比(相同主干模型、检索方式、分块策略、TOP_K参数)下,将基于大模型判断的答案管线替换为候选提取加Python max(序列号)操作,在FC-SH任务(gpt-4o-mini)上提升10.8个百分点,且增益随文档量从6K增至262K而从+8%扩大至+21%。此为全管线效应(解析器、提示词、格式和温度参数协同变化);单独隔离解析器的影响留待未来研究。该方案通过基于Self-Ask的每跳确定性扩展,在FC-SH任务达到78.0%(gpt-4o-mini)与94.8%(gpt-4o),在FC-MH任务达到30.2%(gpt-4o-mini,使用gpt-4o时提升至51.5%)。在匹配262K文档量时,该方案分别超越HippoRAG-v2达28个百分点,超越已发表的FC-MH最佳结果达20个百分点。该结论对子领域具有修正意义:冲突解决的瓶颈在于聚合(检索后聚合),而非存储。LongMemEval知识更新检验表明,该机制可从max(序列号)移植至max(时间戳),但仅能与大模型判断持平(57.8% vs 64.4%,n=45):确定性聚合是当前值冲突的正确基元,需与问题类型感知处理结合以应对更广泛的记忆问答场景。

0
下载
关闭预览

相关内容

FC:Financial Cryptography and Data Security。 Explanation:金融密码与数据安全。 Publisher:Springer。 SIT: http://dblp.uni-trier.de/db/conf/fc/
大语言模型的知识冲突:成因、根源与展望
专知会员服务
21+阅读 · 2024年9月23日
从信息论的角度来理解损失函数
深度学习每日摘要
17+阅读 · 2019年4月7日
Transformer-XL:释放注意力模型的潜力
谷歌开发者
31+阅读 · 2019年2月19日
从信息瓶颈理论一瞥机器学习的“大一统理论”
用模型不确定性理解模型
论智
11+阅读 · 2018年9月5日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
43+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
VIP会员
最新内容
对抗环境下超视距目标打击的情报支援
专知会员服务
3+阅读 · 今天14:49
《无人机对海面作战影响评估》
专知会员服务
11+阅读 · 7月21日
印度精确打击与指挥架构的断层
专知会员服务
6+阅读 · 7月20日
美空军AI完成F-16战斗机自主空战历史性试飞
专知会员服务
6+阅读 · 7月20日
相关VIP内容
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
43+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员