Prevailing AI training infrastructure assumes reverse-mode automatic differentiation over IEEE-754 arithmetic. The memory overhead of training relative to inference, optimizer complexity, and structural degradation of geometric properties through training are consequences of this arithmetic substrate. This paper develops an alternative training architecture grounded in three prior results: the Dimensional Type System and Deterministic Memory Management framework [6], which establishes stack-eligible gradient allocation and exact quire accumulation as design-time verifiable properties; the Program Hypergraph [8], which establishes grade preservation through geometric algebra computations as a type-level invariant; and the b-posit 2026 standard [10], which makes posit arithmetic tractable across hardware targets conventionally considered inference-only. Their composition enables depth-independent training memory bounded to approximately twice the inference footprint, grade-preserving weight updates, and exact gradient accumulation, applicable uniformly to loss-function-optimized and spike-timing-dependent neuromorphic models. We introduce Bayesian distillation, a mechanism by which the latent prior structure of a general-purpose model is extracted through the ADM training regime, resolving the data-scarcity bootstrapping problem for domain-specific training. For deployment, we introduce warm rotation, an operational pattern in which an updated model transitions into an active inference pathway without service interruption, with structural correctness formalized through PHG certificates and signed version records. The result is a class of domain-specific AI systems that are smaller and more precise than general-purpose models, continuously adaptive, verifiably correct with respect to the physical structure of their domains, and initializable from existing models.


翻译:当前主流AI训练基础设施假设基于IEEE-754算术的反向模式自动微分。相对于推理而言的训练内存开销、优化器复杂度以及训练过程中几何属性的结构性退化,均是该算术基础的直接后果。本文提出了一种替代性训练架构,其基础来自三项先前成果:维度类型系统与确定性内存管理框架[6]——该框架将栈式梯度分配与精确四元组累积确立为设计时可验证的属性;程序超图[8]——通过几何代数计算将阶数保持确立为类型级不变量;以及b-posit 2026标准[10]——该标准使得posit算术在传统上被视为仅推理的硬件目标上变得可行。上述三者的组合实现了训练内存深度无关、约等于推理开销两倍的边界,保持了权重的阶数更新,以及精确的梯度累积,并统一适用于损失函数优化模型与脉冲时序依赖的神经形态模型。我们引入贝叶斯蒸馏机制,通过自适应领域模型(ADM)训练范式提取通用模型中潜在的先验结构,从而解决领域专用训练中的数据稀缺自举问题。针对部署环节,我们提出热切换操作模式——在此模式下,更新后的模型可在不中断服务的情况下过渡至活跃推理路径,并通过超图证书与签名版本记录的形式化验证保证结构正确性。最终成果是一类领域专用AI系统,其相较于通用模型体积更小、精度更高,具备持续自适应能力,在领域物理结构上可验证正确,且能够从现有模型初始化。

0
下载
关闭预览

相关内容

领域自适应研究综述
专知会员服务
55+阅读 · 2021年5月5日
领域自适应学习论文大列表
专知
71+阅读 · 2019年3月2日
机器学习算法集锦:从贝叶斯到深度学习及各自优缺点
人工智能学家
11+阅读 · 2019年2月15日
从浅层模型到深度模型:概览机器学习优化算法
机器之心
27+阅读 · 2017年7月9日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2013年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
国家自然科学基金
23+阅读 · 2009年12月31日
国家自然科学基金
17+阅读 · 2008年12月31日
VIP会员
相关主题
最新内容
综述 | 3D场景图:开放挑战与未来方向
专知会员服务
1+阅读 · 今天15:00
21世纪的无人机战争
专知会员服务
2+阅读 · 今天14:05
《量子技术的军事任务技术适配与利用》
专知会员服务
2+阅读 · 今天13:51
美国从乌克兰无人机战争中学习经验
专知会员服务
7+阅读 · 6月21日
ICML 2026 | 面向视觉语言模型的语义鲁棒性认证
专知会员服务
5+阅读 · 6月21日
相关VIP内容
领域自适应研究综述
专知会员服务
55+阅读 · 2021年5月5日
相关基金
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2013年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
国家自然科学基金
23+阅读 · 2009年12月31日
国家自然科学基金
17+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员