Self-evolving large language model (LLM) agents continually improve by accumulating and reusing past experience, yet it remains unclear whether they faithfully rely on that experience to guide their behavior. We present the first systematic investigation of experience faithfulness, the causal dependence of an agent's decisions on the experience it is given, in self-evolving LLM agents. Using controlled causal interventions on both raw and condensed forms of experience, we comprehensively evaluate four representative frameworks across 13 LLM backbones and 9 environments. Our analysis uncovers a striking asymmetry: while agents consistently depend on raw experience, they often disregard or misinterpret condensed experience, even when it is the only experience provided. This gap persists across single- and multi-agent configurations and across backbone scales. We trace its underlying causes to three factors: the semantic limitations of condensed content, internal processing biases that suppress experience, and task regimes where pretrained priors already suffice. These findings challenge prevailing assumptions about self-evolving methods and underscore the need for more faithful and reliable approaches to experience integration.


翻译:自我进化的大型语言模型体通过积累和重用过往经验持续改进,但其行为是否真正忠实依赖于这些经验尚不明确。我们首次对自我进化LLM体中的经验忠实性——即决策对给定经验的因果依赖性——进行了系统性研究。通过对原始经验与精简经验实施受控因果干预,我们全面评估了13种LLM主干架构与9类环境下的四种代表性框架。分析揭示了一个显著的不对称性:体始终依赖原始经验,却经常忽视或曲解精简经验,即便后者是唯一可用的经验来源。这一差距在单智能体与多智能体配置及不同主干规模中持续存在。我们将其根本原因追溯至三个因素:精简内容的语义局限性、压制经验的内部处理偏差以及预训练先验已足的任务场景。这些发现挑战了关于自我进化方法的现有假设,并凸显了对更忠实可靠的经验整合方案的需求。

0
下载
关闭预览

相关内容

大型语言模型的规模效应局限
专知会员服务
14+阅读 · 2025年11月18日
大语言模型机器遗忘综述
专知会员服务
18+阅读 · 2025年11月2日
多模态大语言模型的自我改进:综述
专知会员服务
28+阅读 · 2025年10月8日
基于大型语言模型的人机系统综述
专知会员服务
26+阅读 · 2025年5月12日
基于大语言模型的智能体优化研究综述
专知会员服务
64+阅读 · 2025年3月25日
大语言模型的终身学习综述
专知会员服务
76+阅读 · 2024年6月15日
大模型如何迭代?北大等《大型语言模型自我进化》综述
基于模型的强化学习综述
专知
42+阅读 · 2022年7月13日
ELMo的朋友圈:预训练语言模型真的一枝独秀吗?
自然语言处理中的语言模型预训练方法
PaperWeekly
14+阅读 · 2018年10月21日
国家自然科学基金
0+阅读 · 2016年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
6+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
7+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
4+阅读 · 6月17日
相关VIP内容
大型语言模型的规模效应局限
专知会员服务
14+阅读 · 2025年11月18日
大语言模型机器遗忘综述
专知会员服务
18+阅读 · 2025年11月2日
多模态大语言模型的自我改进:综述
专知会员服务
28+阅读 · 2025年10月8日
基于大型语言模型的人机系统综述
专知会员服务
26+阅读 · 2025年5月12日
基于大语言模型的智能体优化研究综述
专知会员服务
64+阅读 · 2025年3月25日
大语言模型的终身学习综述
专知会员服务
76+阅读 · 2024年6月15日
大模型如何迭代?北大等《大型语言模型自我进化》综述
相关基金
国家自然科学基金
0+阅读 · 2016年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员