We identify a previously unrecognised structure in the finite-temperature geometry of Blahut--Arimoto (BA) rate-distortion optimisation. The starting point is an exact partition identity. For every source density (p) and every inverse temperature $β>0$, the BA partition function $Z(x)=\int q^*(y)e^{-β|x-y|^2}dy$ satisfies $$ Z(x)=\left(\fracπβ\right)^{d/2}p(x). $$ This identity, obtained from the BA fixed-point equation, implies that the BA effective score $g_β=-\nabla\log Z$ coincides exactly with the classical Fisher score $s=-\nabla\log p$ for all temperatures. Moreover, if $v=-\nabla\log q^*$ denotes the translation mode generated by the quadratic-distortion symmetry, then its BA projection satisfies $\mathcal P v=-s$. These observations lead to the central identity $$ J(p)=\mathcal R(v):=\langle v,\mathcal G v\rangle_{L^2(q^*)}, $$ where $\mathcal G$ is the BA relaxation kernel. Thus Fisher information is exactly the Rayleigh quotient of the translation mode and is therefore a temperature-invariant spectral quantity in the BA framework. This yields a geometric interpretation of the Fisher information inequality: the inequality $$ J(X+Y)^{-1}\ge J(X)^{-1}+J(Y)^{-1} $$ becomes the parallel-combination law of a Rayleigh quotient under convolution. The entropy power inequality then follows through the standard heat-flow argument. The contribution is not a new proof of the entropy power inequality, but the identification of a hidden geometric structure: Fisher information as the spectral charge of the translation mode in BA rate-distortion geometry, with the entropy power inequality emerging as a consequence of this temperature-invariant fact.


翻译:我们识别了Blahut–Arimoto (BA) 率失真优化在有限温度几何中一个此前未被认识的结构。其出发点是一个精确的配分恒等式。对于任意源密度 \(p\) 及任意逆温度 \(\beta > 0\),BA 配分函数 \(Z(x) = \int q^*(y) e^{-\beta |x-y|^2} dy\) 满足: \[ Z(x) = \left( \frac{\pi}{\beta} \right)^{d/2} p(x). \] 该恒等式由 BA 不动点方程导出,意味着 BA 有效得分 \(g_\beta = -\nabla \log Z\) 在所有温度下均精确等于经典 Fisher 得分 \(s = -\nabla \log p\)。此外,若记 \(v = -\nabla \log q^*\) 为二次失真对称性生成的平移模式,则其 BA 投影满足 \(\mathcal{P} v = -s\)。这些观察结果引出了核心恒等式: \[ J(p) = \mathcal{R}(v) := \langle v, \mathcal{G} v \rangle_{L^2(q^*)}, \] 其中 \(\mathcal{G}\) 为 BA 松弛核。由此,Fisher 信息量恰好是平移模式的 Rayleigh 商,因而是 BA 框架中一个温度不变的谱量。这一结果赋予 Fisher 信息不等式以几何解释:不等式 \[ J(X+Y)^{-1} \geq J(X)^{-1} + J(Y)^{-1} \] 可视为 Rayleigh 商在卷积运算下的并联组合律。随后,通过标准的热流论证即可推导出熵幂不等式。本文的贡献不在于为熵幂不等式提供新证明,而在于揭示其隐藏的几何结构:Fisher 信息量作为 BA 率失真几何中平移模式的谱荷,而熵幂不等式则由此温度不变事实自然导出。

0
下载
关闭预览

相关内容

几何观点下的深度学习
专知会员服务
36+阅读 · 2022年12月13日
从信息论的角度来理解损失函数
深度学习每日摘要
17+阅读 · 2019年4月7日
深入理解BERT Transformer ,不仅仅是注意力机制
大数据文摘
22+阅读 · 2019年3月19日
最新|深度离散哈希算法,可用于图像检索!
全球人工智能
14+阅读 · 2017年12月15日
【直观详解】信息熵、交叉熵和相对熵
机器学习研究会
10+阅读 · 2017年11月7日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
1+阅读 · 今天14:45
定向能反无人机系统最新发展动态
专知会员服务
5+阅读 · 今天13:50
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
3+阅读 · 今天13:33
相关VIP内容
几何观点下的深度学习
专知会员服务
36+阅读 · 2022年12月13日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员