Current paradigms in Deep Learning prioritize computational throughput over numerical precision, relying on the assumption that intelligence emerges from statistical correlation at scale. In this paper, we challenge this orthodoxy. We propose the Exactness Hypothesis: that General Intelligence (AGI), specifically high-order causal inference, requires a computational substrate capable of Arbitrary Precision Arithmetic. We argue that the "hallucinations" and logical incoherence seen in current Large Language Models (LLMs) are artifacts of IEEE 754 floating-point approximation errors accumulating over deep compositional functions. To mitigate this, we introduce the Halo Architecture, a paradigm shift to Rational Arithmetic ($\mathbb{Q}$) supported by a novel Exact Inference Unit (EIU). Empirical validation on the Huginn-0125 prototype demonstrates that while 600B-parameter scale BF16 baselines collapse in chaotic systems, Halo maintains zero numerical divergence indefinitely. This work establishes exact arithmetic as a prerequisite for reducing logical uncertainty in System 2 AGI.


翻译:当前深度学习范式优先考虑计算吞吐量而非数值精度,其依据的假设是智能源于大规模统计相关性。本文挑战这一正统观念。我们提出精确性假说:通用人工智能(AGI),特别是高阶因果推理,需要能够执行任意精度运算的计算基础。我们认为当前大型语言模型(LLMs)中出现的“幻觉”与逻辑不一致性,实为IEEE 754浮点数近似误差在深层组合函数中累积的产物。为缓解此问题,我们引入Halo架构——一种向有理数运算($\mathbb{Q}$)的范式转变,其由新型精确推理单元(EIU)提供支持。在Huginn-0125原型上的实证验证表明:当6000亿参数规模的BF16基线模型在混沌系统中崩溃时,Halo架构能无限期保持零数值发散。本工作确立了精确算术作为降低System 2 AGI逻辑不确定性的先决条件。

0
下载
关闭预览

相关内容

161页《大模型推理》最新综述,涵盖650多篇大模型论文
专知会员服务
127+阅读 · 2024年1月27日
深度学习模型可解释性的研究进展
专知
26+阅读 · 2020年8月1日
展望:模型驱动的深度学习
人工智能学家
12+阅读 · 2018年1月23日
最新|深度离散哈希算法,可用于图像检索!
全球人工智能
14+阅读 · 2017年12月15日
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
21+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
VIP会员
相关VIP内容
161页《大模型推理》最新综述,涵盖650多篇大模型论文
专知会员服务
127+阅读 · 2024年1月27日
相关基金
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
21+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员