Recent advances in large language models (LLMs) have scaled the potential for reasoning and agentic search, wherein models autonomously plan, retrieve, and reason over external knowledge to answer complex queries. However, the iterative think-search loop accumulates long system memories, leading to memory dilution problem. In addition, existing memory management methods struggle to capture fine-grained semantic relations between queries and documents and often lose substantial information. Therefore, we propose MemSearch-o1, an agentic search framework built on reasoning-aligned memory growth and retracing. MemSearch-o1 dynamically grows fine-grained memory fragments from memory seed tokens from the queries, then retraces and deeply refines the memory via a contribution function, and finally reorganizes a globally connected memory path. This shifts memory management from stream-like concatenation to structured, token-level growth with path-based reasoning. Experiments on eight benchmark datasets show that MemSearch-o1 substantially mitigates memory dilution, and more effectively activates the reasoning potential of diverse LLMs, establishing a solid foundation for memory-aware agentic intelligence.


翻译:近年来,大语言模型(LLM)的进展显著提升了推理与智能搜索的潜力——模型能够自主规划、检索并推理外部知识以回答复杂查询。然而,迭代式“思考-搜索”循环会累积长程系统记忆,导致记忆稀释问题。此外,现有记忆管理方法难以捕捉查询与文档间的细粒度语义关联,且常丢失大量信息。为此,我们提出MemSearch-o1,一种基于推理对齐式记忆增长与回溯的智能搜索框架。MemSearch-o1从查询中的记忆种子令牌动态生成细粒度记忆片段,通过贡献函数进行回溯与深度精炼,最终重组为全局关联的记忆路径。这使记忆管理从流式拼接转变为基于令牌的结构化增长与路径推理。在八个基准数据集上的实验表明,MemSearch-o1显著缓解了记忆稀释问题,并能更有效地激活不同LLM的推理潜力,为具备记忆感知能力的智能体研究奠定了坚实基础。

0
下载
关闭预览

相关内容

大语言模型机器遗忘综述
专知会员服务
18+阅读 · 2025年11月2日
大型语言模型推理增强外部知识:综述
专知会员服务
39+阅读 · 2025年6月2日
关于大语言模型驱动的推荐系统智能体的综述
专知会员服务
30+阅读 · 2025年2月17日
大规模语言模型增强推荐系统:分类、趋势、应用与未来
专知会员服务
41+阅读 · 2024年12月22日
大型语言模型高效推理综述
专知会员服务
65+阅读 · 2024年4月23日
「知识增强预训练语言模型」最新研究综述
专知
18+阅读 · 2022年11月18日
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
43+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
25+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
VIP会员
最新内容
《无人机脆弱性利用:网络空间力量的新域》
专知会员服务
2+阅读 · 今天4:08
美空军如何将人工智能从战场部署至后方机关
专知会员服务
11+阅读 · 7月31日
《史诗怒火行动:多域前瞻评估》49页报告
专知会员服务
7+阅读 · 7月31日
《英国防部:未来空战系统数字化战略》33页
专知会员服务
5+阅读 · 7月31日
《面向自主飞行网络的智能体人工智能架构》
专知会员服务
7+阅读 · 7月31日
“史诗怒火”行动:现代多域作战的重要节点
专知会员服务
8+阅读 · 7月30日
《下一代无线网络中的多无人机通信资源管理》
相关VIP内容
大语言模型机器遗忘综述
专知会员服务
18+阅读 · 2025年11月2日
大型语言模型推理增强外部知识:综述
专知会员服务
39+阅读 · 2025年6月2日
关于大语言模型驱动的推荐系统智能体的综述
专知会员服务
30+阅读 · 2025年2月17日
大规模语言模型增强推荐系统:分类、趋势、应用与未来
专知会员服务
41+阅读 · 2024年12月22日
大型语言模型高效推理综述
专知会员服务
65+阅读 · 2024年4月23日
相关基金
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
43+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
25+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员