Singular learning theory characterizes Bayesian models with non-identifiable parameterizations through two central quantities: the real log canonical threshold (RLCT), which governs marginal likelihood asymptotics, and the singular fluctuation, which determines second-order generalization behavior and the complexity term in WAIC. While the geometric meaning of the RLCT is well understood, the interpretation of singular fluctuation has remained comparatively opaque. We show that singular fluctuation admits a precise thermodynamic interpretation. Under a tempered (Gibbs) posterior, it is exactly the curvature of the Bayesian free energy with respect to inverse temperature; equivalently, the variance of the log-likelihood observable. In this sense, singular fluctuation is the statistical analogue of specific heat. This identity clarifies why singular fluctuation controls the equation of state relating training and generalization error and explains the success of WAIC in singular models: WAIC estimates a fluctuation coefficient rather than a parameter dimension. Across Gaussian mixture models and reduced-rank regression, we demonstrate that singular fluctuation behaves as a thermodynamic response coefficient. As temperature decreases, posterior reorganization suppresses fluctuation directions that affect predictive performance, and model-specific geometric observables track the decay of singular fluctuation. Rather than introducing new asymptotic expansions, this work unifies existing variance identities, equation-of-state results, and WAIC complexity corrections under a single free-energy curvature framework.


翻译:奇异学习理论通过两个核心量刻画具有不可辨识参数化的贝叶斯模型:实对数规范阈值(RLCT),它控制边际似然的渐近行为;以及奇异涨落,它决定二阶泛化行为及WAIC中的复杂度项。尽管RLCT的几何意义已被充分理解,但奇异涨落的解释仍相对模糊。本文表明,奇异涨落具有精确的热力学解释。在温度调节(吉布斯)后验下,它恰好是贝叶斯自由能关于逆温度的曲率;等价地,它是对数似然可观测量的方差。在此意义上,奇异涨落是比热的统计对应物。这一恒等式阐明了为何奇异涨落控制训练误差与泛化误差之间的状态方程,并解释了WAIC在奇异模型中的成功:WAIC估计的是涨落系数而非参数维度。通过高斯混合模型与降秩回归,我们证明奇异涨落表现为热力学响应系数。随着温度降低,后验重组抑制了影响预测性能的涨落方向,而模型特定的几何可观测量追踪奇异涨落的衰减。本文并非引入新的渐近展开,而是将现有的方差恒等式、状态方程结果和WAIC复杂度修正统一在一个自由能曲率框架下。

0
下载
关闭预览

相关内容

【经典书】贝叶斯强化学习概述,147页pdf
专知会员服务
116+阅读 · 2021年11月21日
【深度】让DL可解释?这一份66页贝叶斯深度学习教程告诉你
GAN生成式对抗网络
15+阅读 · 2018年8月11日
贝叶斯机器学习前沿进展
机器学习研究会
21+阅读 · 2018年1月21日
国家自然科学基金
16+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
VIP会员
最新内容
俄乌无人机战争的六大启示
专知会员服务
9+阅读 · 8月3日
《无人机空中监控:通信实验洞察》
专知会员服务
6+阅读 · 8月3日
从采集到决策:美军视角下的战术情报范式重构
《履带式无人地面战车技术发展现状》
专知会员服务
6+阅读 · 8月2日
《无人机脆弱性利用:网络空间力量的新域》
专知会员服务
9+阅读 · 8月1日
美空军如何将人工智能从战场部署至后方机关
专知会员服务
14+阅读 · 7月31日
相关VIP内容
【经典书】贝叶斯强化学习概述,147页pdf
专知会员服务
116+阅读 · 2021年11月21日
相关基金
国家自然科学基金
16+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员