Every system that maintains a large language model conversation beyond a single session faces two inescapable constraints: the context window is finite, and information quality degrades with accumulated volume. We formalize these constraints as axioms and derive a single governing principle -- the Root Theorem of Context Engineering: \emph{maximize signal-to-token ratio within bounded, lossy channels.} From this principle, we derive five consequences without additional assumptions: (1)~a quality function $F(P)$ that degrades monotonically with injected token volume, independent of window size; (2)~the independence of signal and token count as optimization variables; (3)~a necessary gate mechanism triggered by fidelity thresholds, not capacity limits; (4)~the inevitability of homeostatic persistence -- accumulate, compress, rewrite, shed -- as the only architecture that sustains understanding indefinitely; and (5)~the self-referential property that the compression mechanism operates inside the channel it compresses, requiring an external verification gate. We show that append-only systems necessarily exceed their effective window in finite time, that retrieval-augmented generation solves search but not continuity, and that the theorem's constraint structure converges with biological memory architecture through independent derivation from shared principles. Engineering proof is provided through a 60+-session persistent architecture demonstrating stable memory footprint under continuous operation -- the divergence prediction made concrete. The Root Theorem establishes context engineering as an information-theoretic discipline with formal foundations, distinct from prompt engineering in both scope and method. Shannon solved point-to-point transmission. Context engineering solves continuity.


翻译:任何维持大语言模型跨会话对话的系统都面临两个不可避免的约束:上下文窗口是有限的,且信息质量随累积量的增加而退化。我们将这些约束形式化为公理,并推导出一个核心控制原则——上下文工程根定理:\emph{在有界有损信道内最大化信号-令牌比。} 基于该原则,我们推导出五个无需额外假设的推论:(1)~质量函数 $F(P)$ 随注入令牌量单调退化,与窗口大小无关;(2)~信号与令牌计数作为优化变量的独立性;(3)~由保真度阈值(而非容量限制)触发的必要门控机制;(4)~稳态存续的必然性——积累、压缩、重写、清除——作为无限维持理解的唯一架构;(5)~压缩机制在其操作的信道内部运行的自指性质,需要外部验证门控。我们证明:仅追加系统必定在有限时间内超过有效窗口;检索增强生成解决搜索问题但无法解决连续性问题;该定理的约束结构通过独立推导与生物记忆架构共享的基本原则趋于一致。通过一个持续运行的60+会话持久化架构提供工程证明——使发散预测具体化——该架构在连续操作下保持稳定内存占用。根定理将上下文工程确立为具有形式化基础的信息论学科,在范围和方法上均不同于提示工程。香农解决了点到点传输问题。上下文工程解决连续性问题。

0
下载
关闭预览

相关内容

【博士论文】基于多模态基础模型的上下文学习
专知会员服务
24+阅读 · 2025年12月17日
《语言模型的推理时间学习算法》162页博士论文
专知会员服务
16+阅读 · 2025年11月23日
上下文工程到底是什么?一文起底
专知会员服务
23+阅读 · 2025年7月21日
近期语音类前沿论文
深度学习每日摘要
14+阅读 · 2019年3月17日
《pyramid Attention Network for Semantic Segmentation》
统计学习与视觉计算组
44+阅读 · 2018年8月30日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
8+阅读 · 2014年12月31日
国家自然科学基金
8+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 6月4日
VIP会员
最新内容
定向能反无人机系统最新发展动态
专知会员服务
0+阅读 · 20分钟前
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
0+阅读 · 37分钟前
《通过小型无人机系统将情报能力“作战化”》
消耗优势:美军的“精确规模化”概念
专知会员服务
8+阅读 · 6月15日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
8+阅读 · 2014年12月31日
国家自然科学基金
8+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员