We uncover a finite-temperature extension of de Bruijn's identity -- the classical relation $\frac{d}{dt}h(X+\sqrt{t}Z)=\frac{1}{2}J(X)$ connecting differential entropy and Fisher information. Our framework is the spectral theory of Blahut--Arimoto (BA) dynamics, recently developed by Wang~\cite{Wang2026} for the analysis of rate-distortion optimization. The central observation is elementary yet profound: for Gaussian sources, the spectral gap $\lam$ of the BA relaxation kernel $\G$ satisfies $\lam = 1/(2βσ^2)$~\cite{Wang2026}, while the Fisher information of the source is $J = 1/σ^2$. Hence \[ {\lam = \frac{J}{2β}} \] for all inverse temperatures $β> 1/(2σ^2)$. This identifies the BA spectral gap as a \emph{finite-temperature regularization of Fisher information}. From this observation we derive an exact finite-temperature de Bruijn identity: \[ \frac{\partial F_β}{\partial σ^2} = \frac{1}{2βσ^2} = \lam, \] where $F_β$ is the BA free energy. This identity holds for all finite $β$ without any limit procedure. The classical de Bruijn identity follows as the exact consequence $β\,\partial F_β/\partialσ^2 = J/2$. The significance is structural: classical de Bruijn is not an isolated fact about Gaussian convolutions, but the $β\to\infty$ shadow of a one-parameter family of exact identities living in the spectral geometry of rate-distortion optimization. We discuss implications for the entropy power inequality, the $χ^2$-dissipation structure of BA dynamics, and the geometric unification of information inequalities.


翻译:我们发现了de Bruijn恒等式的有限温度推广——经典关系式$\frac{d}{dt}h(X+\sqrt{t}Z)=\frac{1}{2}J(X)$连接微分熵与Fisher信息。我们的框架基于Blahut–Arimoto(BA)动力学的谱理论,该理论由Wang~[cite Wang2026] 近期发展为用于率失真优化的分析工具。其核心观察既基础又深刻:对于高斯信源,BA松弛核$\G$的谱间隙$\lam$满足$\lam = 1/(2βσ^2)$~[cite Wang2026],而信源的Fisher信息为$J = 1/σ^2$。因此,对所有满足$β> 1/(2σ^2)$的逆温度$β$,有\[ {\lam = \frac{J}{2β}} \]。这揭示了BA谱间隙作为Fisher信息的**有限温度正则化**。基于此观察,我们推导出精确的有限温度de Bruijn恒等式:\[ \frac{\partial F_β}{\partial σ^2} = \frac{1}{2βσ^2} = \lam, \]其中$F_β$是BA自由能。该恒等式对所有有限$β$成立,无需任何极限过程。经典de Bruijn恒等式作为其精确推论$β\,\partial F_β/\partialσ^2 = J/2$自然导出。其结构性意义在于:经典de Bruijn恒等式并非关于高斯卷积的孤立事实,而是作为$β\to\infty$极限下,存在于率失真优化的谱几何中一族精确恒等式的投影。我们讨论了该结果对熵幂不等式、BA动力学的$\chi^2$-耗散结构,以及信息不等式几何统一的启示。

0
下载
关闭预览

相关内容

《计算机信息》杂志发表高质量的论文,扩大了运筹学和计算的范围,寻求有关理论、方法、实验、系统和应用方面的原创研究论文、新颖的调查和教程论文,以及描述新的和有用的软件工具的论文。官网链接:https://pubsonline.informs.org/journal/ijoc
专知会员服务
10+阅读 · 2021年10月1日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
从香农熵到手推KL散度:一文带你纵览机器学习中的信息论
算法与数学之美
10+阅读 · 2018年1月14日
最新|深度离散哈希算法,可用于图像检索!
全球人工智能
14+阅读 · 2017年12月15日
【直观详解】信息熵、交叉熵和相对熵
机器学习研究会
10+阅读 · 2017年11月7日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
4+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
6+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
3+阅读 · 6月17日
相关VIP内容
专知会员服务
10+阅读 · 2021年10月1日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员