The pursuit of scale in deep learning has entrenched a trade-off: computational throughput is prioritized at the expense of numerical precision. We argue this compromise is fundamentally at odds with the requirements of general intelligence. We propose the \textbf{Exactness Hypothesis}: high-order causal reasoning -- a cornerstone of AGI -- demands a substrate supporting \textbf{arbitrary-precision, logically consistent arithmetic}. We trace prevalent LLM failures, such as logical hallucinations and incoherence, to the inherent limitations of IEEE 754 floating-point arithmetic, where approximation errors compound catastrophically in deep functions. As a solution, we present the \textbf{Halo Architecture}, which transitions the computational foundation from approximate reals ($\mathbb{R}$) to exact rationals ($\mathbb{Q}$). Halo is realized through a custom \textbf{Exact Inference Unit (EIU)}, whose design -- featuring asynchronous MIMD reduction and dual-modular redundancy -- resolves the performance and reliability bottlenecks of exact computation at scale. In rigorous simulations, 600B-parameter BF16 models fail in chaotic systems within steps, while Halo sustains \textbf{perfect numerical fidelity} indefinitely. Our work posits exact arithmetic as non-negotiable for advancing reasoning-capable AGI and provides a co-designed hardware-software path toward verifiable, exascale-ready AI systems.


翻译:深度学习对规模的追求已固化了一种权衡:计算吞吐量被优先考虑,而数值精度则被牺牲。我们认为这种妥协从根本上与通用智能的要求相悖。我们提出**精确性假说**:高阶因果推理——AGI的基石——需要一个支持**任意精度、逻辑一致算术**的底层基础。我们将当前主流LLM的失败(如逻辑幻觉和前后矛盾)追溯至IEEE 754浮点运算的固有局限,其中近似误差在深层函数中会灾难性地累积。作为解决方案,我们提出**Halo架构**,该架构将计算基础从近似实数($\mathbb{R}$)转变为精确有理数($\mathbb{Q}$)。Halo通过定制的**精确推理单元(EIU)** 实现,其设计——采用异步MIMD规约和双模块冗余——解决了大规模精确计算的性能和可靠性瓶颈。在严格的模拟中,6000亿参数的BF16模型在混沌系统中几步内即告失败,而Halo能够**无限期地保持完美的数值保真度**。我们的工作主张精确算术是推进具备推理能力的AGI不可或缺的条件,并提供了一条软硬件协同设计的路径,以实现可验证的、面向百亿亿次计算规模的AI系统。

0
下载
关闭预览

相关内容

【课程推荐】 深度学习中的几何(Geometry of Deep Learning)
专知会员服务
59+阅读 · 2019年11月10日
深度学习模型可解释性的研究进展
专知
26+阅读 · 2020年8月1日
深度学习时代的图模型,清华发文综述图网络
GAN生成式对抗网络
13+阅读 · 2018年12月23日
理解人类推理的深度学习
论智
19+阅读 · 2018年11月7日
最新|深度离散哈希算法,可用于图像检索!
全球人工智能
14+阅读 · 2017年12月15日
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
21+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
VIP会员
相关VIP内容
【课程推荐】 深度学习中的几何(Geometry of Deep Learning)
专知会员服务
59+阅读 · 2019年11月10日
相关基金
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
21+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员