Inference and learning are commonly cast in terms of optimisation, yet the fundamental constraints governing uncertainty reduction remain unclear. This work presents a first-principles framework inherent to Bayesian updating, termed information mechanics (infomechanics). Any pointwise reduction in posterior surprisal is exactly balanced by information gained from data, independently of algorithms, dynamics, or implementation. Imposing additivity, symmetry, and robustness collapses the freedom of this identity to only two independent conservation relations. One governs the global redistribution of uncertainty and recovers Shannon entropy. The other captures a complementary local geometric component, formalised as Fisher information. Together, these conserved quantities motivate a non-additive state function, the information potential $Φ$, which isolates structural degrees of freedom beyond entropy while remaining invariant under reparametrisation. $Φ$ quantifies local sharpness and ruggedness in posterior beliefs and vanishes uniquely for isotropic Gaussian distributions. In a low-temperature regime, $Φ$ scales logarithmically with the effective number of local optima, linking information geometry to computational complexity. This formalises an information-computation exchange, whereby information acquisition reshapes the inference landscape and reduces computational demands. By separating invariant informational constraints from inference mechanisms, this framework provides a unified, algorithm-independent foundation for inference, learning, and computation across biological and artificial systems.


翻译:推断与学习通常被表述为优化问题,然而支配不确定性减少的基本约束仍不明确。本研究提出了一个内在于贝叶斯更新的第一性原理框架,称为信息力学。后验惊奇度的任何逐点减少,都恰好与从数据中获得的信息相平衡,且独立于算法、动力学或具体实现。施加可加性、对称性和鲁棒性条件后,该恒等式的自由度坍缩为仅有两个独立的守恒关系。其一支配不确定性的全局再分布,并恢复了香农熵。另一个捕获了互补的局部几何分量,形式化为费希尔信息。这些守恒量共同引出了一个非可加的态函数——信息势 $Φ$,它分离了熵之外的结构自由度,同时在重新参数化下保持不变。$Φ$ 量化了后验信念中的局部锐度和崎岖度,且仅在各项同性高斯分布时唯一地消失。在低温区域,$Φ$ 随局部最优解的有效数量呈对数缩放,从而将信息几何与计算复杂性联系起来。这形式化了一种信息-计算交换关系,即信息获取重塑了推断的景观并降低了计算需求。通过将不变的信息约束与推断机制分离,该框架为生物和人工系统中的推断、学习与计算提供了一个统一的、独立于算法的基础。

0
下载
关闭预览

相关内容

【阿姆斯特丹博士论文】表示学习中的信息理论
专知会员服务
23+阅读 · 2025年7月18日
【经典书】信息理论、推理和学习算法,640页pdf
专知会员服务
84+阅读 · 2020年9月21日
因果关联学习,Causal Relational Learning
专知会员服务
185+阅读 · 2020年4月21日
基于信息理论的机器学习
专知
22+阅读 · 2017年11月23日
【直观详解】信息熵、交叉熵和相对熵
机器学习研究会
10+阅读 · 2017年11月7日
国家自然科学基金
1+阅读 · 2016年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
Arxiv
0+阅读 · 2月10日
VIP会员
相关VIP内容
【阿姆斯特丹博士论文】表示学习中的信息理论
专知会员服务
23+阅读 · 2025年7月18日
【经典书】信息理论、推理和学习算法,640页pdf
专知会员服务
84+阅读 · 2020年9月21日
因果关联学习,Causal Relational Learning
专知会员服务
185+阅读 · 2020年4月21日
相关基金
国家自然科学基金
1+阅读 · 2016年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员