Iterative LLM systems(self-refinement, chain-of-thought, autonomous agents) are increasingly deployed, yet their temporal dynamics remain uncharacterized. Prior work evaluates task performance at convergence but ignores the trajectory: how does semantic content evolve across iterations? Does it stabilize, drift, or oscillate? Without answering these questions, we cannot predict system behavior, guarantee stability, or systematically design iterative architectures. We formalize agentic loops as discrete dynamical systems in semantic space. Borrowing from dynamical systems theory, we define trajectories, attractors and dynamical regimes for recursive LLM transformations, providing rigorous geometric definitions adapted to this setting. Our framework reveals that agentic loops exhibit classifiable dynamics: contractive (convergence toward stable semantic attractors), oscillatory (cycling among attractors), or exploratory (unbounded divergence). Experiments on singular loops validate the framework. Iterative paraphrasing produces contractive dynamics with measurable attractor formation and decreasing dispersion. Iterative negation produces exploratory dynamics with no stable structure. Crucially, prompt design directly controls the dynamical regime - the same model exhibits fundamentally different geometric behaviors depending solely on the transformation applied. This work establishes that iterative LLM dynamics are predictable and controllable, opening new directions for stability analysis, trajectory forecasting, and principled design of composite loops that balance convergence and exploration.


翻译:迭代式大语言模型系统(自我优化、思维链、自主智能体)正日益广泛部署,但其时间动力学特性尚未得到系统刻画。现有研究主要评估系统收敛时的任务性能,却忽略了演化轨迹:语义内容在迭代过程中如何演变?是趋于稳定、发生漂移还是呈现振荡?若不回答这些问题,我们将无法预测系统行为、保证稳定性或系统化设计迭代架构。本文将智能循环形式化为语义空间中的离散动力系统。借鉴动力系统理论,我们为递归式大语言模型变换定义了轨迹、吸引子和动力学机制,提供了适用于该场景的严格几何定义。我们的框架揭示智能循环呈现可分类的动力学行为:收缩型(向稳定语义吸引子收敛)、振荡型(在吸引子间循环)或探索型(无界发散)。单循环实验验证了该框架的有效性:迭代复述产生收缩动力学,可观测到吸引子形成及离散度递减;迭代否定则产生无稳定结构的探索型动力学。关键的是,提示设计直接控制着动力学机制——同一模型仅因所施加变换的不同,即可表现出根本不同的几何行为。本研究表明迭代式大语言模型的动力学行为具有可预测性和可控性,为稳定性分析、轨迹预测以及平衡收敛与探索的复合循环系统设计开辟了新方向。

0
下载
关闭预览

相关内容

智能体化多模态大语言模型综述
专知会员服务
38+阅读 · 2025年10月14日
大语言模型时代的AIOps综述
专知会员服务
28+阅读 · 2025年7月20日
可解释人工智能中的大语言模型:全面综述
专知会员服务
53+阅读 · 2025年4月2日
《大语言模型智能体:方法、应用与挑战综述》
专知会员服务
58+阅读 · 2025年3月28日
多循环嵌套的大语言模型多智能体指挥控制过程
专知会员服务
42+阅读 · 2025年1月19日
大语言模型算法演进综述
专知会员服务
81+阅读 · 2024年5月30日
大语言模型视角下的智能规划方法综述
专知会员服务
136+阅读 · 2024年4月20日
大型语言模型:原理、实现与发展
专知会员服务
102+阅读 · 2023年11月28日
绝对干货!NLP预训练模型:从transformer到albert
新智元
13+阅读 · 2019年11月10日
自然语言处理(NLP)知识结构总结
AI100
51+阅读 · 2018年8月17日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2016年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
VIP会员
相关VIP内容
智能体化多模态大语言模型综述
专知会员服务
38+阅读 · 2025年10月14日
大语言模型时代的AIOps综述
专知会员服务
28+阅读 · 2025年7月20日
可解释人工智能中的大语言模型:全面综述
专知会员服务
53+阅读 · 2025年4月2日
《大语言模型智能体:方法、应用与挑战综述》
专知会员服务
58+阅读 · 2025年3月28日
多循环嵌套的大语言模型多智能体指挥控制过程
专知会员服务
42+阅读 · 2025年1月19日
大语言模型算法演进综述
专知会员服务
81+阅读 · 2024年5月30日
大语言模型视角下的智能规划方法综述
专知会员服务
136+阅读 · 2024年4月20日
大型语言模型:原理、实现与发展
专知会员服务
102+阅读 · 2023年11月28日
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2016年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员