Modern Large Language Models (LLMs) have demonstrated remarkable capabilities in complex tasks by employing search-augmented reasoning to incorporate external knowledge into long chains of thought. However, we identify a critical yet underexplored bottleneck in this paradigm, termed Knowledge Integration Decay (KID). Specifically, we observe that as the length of reasoning generated before search grows, models increasingly fail to integrate retrieved evidence into subsequent reasoning steps, limiting performance even when relevant information is available. To address this, we propose Self-Anchored Knowledge Encoding (SAKE), a training-free inference-time strategy designed to stabilize knowledge utilization. By anchoring retrieved knowledge at both the beginning and end of the reasoning process, SAKE prevents it from being overshadowed by prior context, thereby preserving its semantic integrity. Extensive experiments on multi-hop QA and complex reasoning benchmarks demonstrate that SAKE significantly mitigates KID and improves performance, offering a lightweight yet effective solution for knowledge integration in agentic LLMs.


翻译:现代大型语言模型(LLMs)通过采用搜索增强推理将外部知识融入长链思维,在复杂任务中展现出卓越能力。然而,我们发现该范式存在一个关键却未被充分探索的瓶颈,即知识整合衰减(KID)。具体而言,我们观察到随着搜索前生成推理链长度的增加,模型越来越难以将检索到的证据整合到后续推理步骤中,即使在相关信息可用时也限制了性能提升。为解决此问题,我们提出自锚定知识编码(SAKE),这是一种无需训练、在推理阶段实施的策略,旨在稳定知识利用。通过在推理过程的首尾两端锚定检索知识,SAKE可防止其被先验语境遮蔽,从而保持语义完整性。在多跳问答与复杂推理基准上的大量实验表明,SAKE能显著缓解KID现象并提升性能,为智能体化LLMs的知识整合问题提供了轻量而有效的解决方案。

0
下载
关闭预览

相关内容

大型语言模型的规模效应局限
专知会员服务
14+阅读 · 2025年11月18日
大语言模型中的检索与结构化增强生成综述
专知会员服务
32+阅读 · 2025年9月17日
大语言模型中的隐式推理:综合综述
专知会员服务
32+阅读 · 2025年9月4日
大型语言模型推理增强外部知识:综述
专知会员服务
37+阅读 · 2025年6月2日
结合知识增强的大型语言模型复杂问题求解综述
专知会员服务
16+阅读 · 2025年5月7日
高效推理的集约化探索:大语言模型推理优化综述
专知会员服务
32+阅读 · 2025年4月1日
大语言模型增强知识表示学习综述
专知会员服务
69+阅读 · 2024年7月2日
KnowledGPT:基于知识库的检索和存储访问增强大型语言模型
探究检索增强下的大模型知识边界
专知会员服务
56+阅读 · 2023年7月25日
「知识增强预训练语言模型」最新研究综述
专知
18+阅读 · 2022年11月18日
关系推理:基于表示学习和语义要素
计算机研究与发展
19+阅读 · 2017年8月22日
国家自然科学基金
18+阅读 · 2017年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
18+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
VIP会员
相关VIP内容
大型语言模型的规模效应局限
专知会员服务
14+阅读 · 2025年11月18日
大语言模型中的检索与结构化增强生成综述
专知会员服务
32+阅读 · 2025年9月17日
大语言模型中的隐式推理:综合综述
专知会员服务
32+阅读 · 2025年9月4日
大型语言模型推理增强外部知识:综述
专知会员服务
37+阅读 · 2025年6月2日
结合知识增强的大型语言模型复杂问题求解综述
专知会员服务
16+阅读 · 2025年5月7日
高效推理的集约化探索:大语言模型推理优化综述
专知会员服务
32+阅读 · 2025年4月1日
大语言模型增强知识表示学习综述
专知会员服务
69+阅读 · 2024年7月2日
KnowledGPT:基于知识库的检索和存储访问增强大型语言模型
探究检索增强下的大模型知识边界
专知会员服务
56+阅读 · 2023年7月25日
相关基金
国家自然科学基金
18+阅读 · 2017年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
18+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员