Large language models now write software, draft legal documents, and produce clinical notes, yet fundamental limits, from Turing and Arrow to the No Free Lunch theorems, shape what computation can do. This thesis turns such impossibility results from curiosities into design rules. Its flagship result proves an accuracy ceiling set by architecture alone: past a critical reasoning depth, no amount of training moves it, at any adapter rank, sample size, or loss function. Computable before deployment from layer count and embedding width, this Deterministic Horizon is measured between nineteen and thirty-one across twelve transformer architectures, and fine-tuning on optimal-length traces recovers under four percentage points. The mechanism is a capacity invariant of the residual stream, and an information-theoretic conversion yields super-exponential accuracy decay past the horizon. An unconditional circuit-complexity lower bound for modular exponentiation against constant-depth prime-modulus circuits complements this result. The same argument recasts across subfields: preference learning under any misspecified model jumps discontinuously in sample complexity; multi-stage retrieval pipelines require at least as many independent metrics as stages; standard truthful auctions fail for agents with prompt-dependent valuations; and zero-knowledge verification of neural inference pays a measured overhead of one hundred ten to one hundred ninety times per non-linear activation. Together these form a catalogue of sixteen specifications, each pairing a computable boundary, a quantified violation cost, and a constructive design rule: two compositions are proved, one pairing is an honest obstruction, and four remain open. The impossibility-specification methodology is offered for the generative research programme that trustworthy AI may need. Every fundamental limit of AI is also a design rule.


翻译:大型语言模型现已能编写软件、起草法律文件并生成临床笔记,但从图灵定理、阿罗不可能定理到“没有免费午餐”定理,这些根本性局限始终塑造着计算能力的边界。本论文将这类不可行性结果从理论奇谈转化为设计准则。其核心成果证明了由架构本身决定的准确率上限:当推理深度超过临界值后,无论采用何种适配器秩、样本规模或损失函数,任何训练都无法突破该上限。通过层数与嵌入维度可在部署前计算的“确定性视界”值,在十二种Transformer架构中介于十九至三十一之间,而在最优长度轨迹上进行微调仅能恢复不到四个百分点的准确率。该机制源于残差流的容量不变性,且基于信息论的转换表明超越视界后准确率将以超指数衰减。另一项无条件电路复杂性下界(针对恒定深度素数模电路的模幂运算)对此进行了补充。相同的论证框架可迁移至多个子领域:任何错误指定的偏好学习会在样本复杂度上产生非连续跃变;多阶段检索流水线所需独立指标数至少等于阶段数;标准诚实拍卖机制无法应对提示依赖型估值主体;神经推理的零知识验证需为每个非线性激活函数支付一百一十至一百九十倍量级可测开销。这些结果共同构成包含十六项设计规范的清单,每项规范均包含可计算边界、量化违规代价及建设性设计准则:其中两种组合已获证明,一组配对为本质性障碍,四项仍为开放问题。这种“不可能性-规范”方法论可为可信人工智能可能需要的生成式研究纲领提供支撑——人工智能的每个根本局限,皆是一则设计准则。

0
下载
关闭预览

相关内容

设计是对现有状的一种重新认识和打破重组的过程,设计让一切变得更美。
《人工智能辅助决策中的数据可视化:系统性综述》
专知会员服务
28+阅读 · 2025年8月22日
机器学习的可解释性
专知会员服务
180+阅读 · 2020年8月27日
深度学习可解释性研究进展
专知
19+阅读 · 2020年6月26日
视线估计(Gaze Estimation)简介(一):概述
CVer
10+阅读 · 2020年3月18日
机器学习的可解释性:因果推理和稳定学习
DataFunTalk
13+阅读 · 2020年3月3日
深度学习模型不确定性方法对比
PaperWeekly
20+阅读 · 2020年2月10日
「PPT」深度学习中的不确定性估计
专知
27+阅读 · 2019年7月20日
【资源推荐】AI可解释性资源汇总
专知
47+阅读 · 2019年4月24日
用模型不确定性理解模型
论智
11+阅读 · 2018年9月5日
【学界】机器学习模型的“可解释性”到底有多重要?
GAN生成式对抗网络
12+阅读 · 2018年3月3日
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
7+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
Arxiv
10+阅读 · 2024年3月11日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
2+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
6+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
3+阅读 · 6月17日
相关资讯
深度学习可解释性研究进展
专知
19+阅读 · 2020年6月26日
视线估计(Gaze Estimation)简介(一):概述
CVer
10+阅读 · 2020年3月18日
机器学习的可解释性:因果推理和稳定学习
DataFunTalk
13+阅读 · 2020年3月3日
深度学习模型不确定性方法对比
PaperWeekly
20+阅读 · 2020年2月10日
「PPT」深度学习中的不确定性估计
专知
27+阅读 · 2019年7月20日
【资源推荐】AI可解释性资源汇总
专知
47+阅读 · 2019年4月24日
用模型不确定性理解模型
论智
11+阅读 · 2018年9月5日
【学界】机器学习模型的“可解释性”到底有多重要?
GAN生成式对抗网络
12+阅读 · 2018年3月3日
相关基金
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
7+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员