This paper uncovers an exact $χ^2$ dissipation identity for the Blahut--Arimoto (BA) flow and establishes its fundamental information-geometric structure. While prior works have analyzed BA convergence via the monotone decrease of the Kullback--Leibler divergence, we establish that the continuous-time flow $\partial_τq = \tilde{q}_β[q] - q$ is fundamentally governed by the Pearson $χ^2$ divergence. Specifically, we prove the governing identity $\frac{d}{dτ} Φ_β= -χ^2(\tilde{q}_β\| q)$, elevating $χ^2$ from a mere local approximation to the global non-asymptotic driver of the dynamics. We establish a \emph{unified dissipation identity} revealing that the $χ^2$ and the symmetrised Jeffreys divergence $D_J$ differ only by a cubic residual $\mathcal{N}$, which vanishes \emph{exactly} for the BA flow. This algebraic cancellation identifies the Jacobian $K_q = D\tilde{q}_β[q]$ and its complement $\mathcal{A}_q = I - K_q$ as the Fisher--Rao Hessian of the free energy $Φ_β$. The spectral gap of $\mathcal{A}_{q^*}$ is proved to determine both the local exponential convergence rate (a universal value of $2$ in artificial time) and the stability of the attraction basin. For Gaussian sources, the theory yields three concrete consequences: (i)~the reproduction variance obeys an exact closed ODE; (ii)~the Gaussian distribution emerges as the unique dynamical attractor; and (iii)~in high dimensions, convergence is bottlenecked by the maximum source variance -- \emph{spectral stiffness}. Significantly, this framework provides new dissipative interpretations for fundamental problems including MIMO channel capacity, Wyner--Ziv coding, and the information bottleneck. These results establish the BA flow as a canonical dissipative relaxation and provide a geometric foundation for the dynamical theory of information-theoretic optimisation.


翻译:本文揭示了Blahut—Arimoto(BA)流的精确χ²耗散恒等式,并建立了其基本的信息几何结构。尽管先前的工作通过Kullback—Leibler散度的单调递减分析了BA收敛性,我们证明连续时间流$\partial_τq = \tilde{q}_β[q] - q$从根本上由Pearson χ²散度主导。具体而言,我们证明主导恒等式$\frac{d}{dτ} Φ_β= -χ^2(\tilde{q}_β\| q)$,将χ²从单纯的局部近似提升为动力学的全局非渐近驱动力。我们建立了一个\emph{统一耗散恒等式},揭示χ²与对称化Jeffreys散度$D_J$仅相差一个三次残差$\mathcal{N}$,该残差对于BA流\emph{精确}消失。这种代数相消将雅可比矩阵$K_q = D\tilde{q}_β[q]$及其补$\mathcal{A}_q = I - K_q$识别为自由能$Φ_β$的Fisher—Rao Hessian矩阵。证明$\mathcal{A}_{q^*}$的谱隙决定了局部指数收敛速率(人工时间中的普适值$2$)和吸引域的稳定性。对于高斯源,该理论产生三个具体结论:(i) 重构方差服从精确封闭常微分方程;(ii) 高斯分布作为唯一动力吸引子出现;(iii) 在高维情形下,收敛受限于最大源方差——\emph{谱刚性}。值得注意的是,该框架为MIMO信道容量、Wyner—Ziv编码和信息瓶颈等基本问题提供了新的耗散解释。这些结果将BA流确立为典范耗散松弛过程,并为信息论优化的动力学理论提供了几何基础。

0
下载
关闭预览

相关内容

专知会员服务
32+阅读 · 2021年2月17日
124页哈佛数学系本科论文,带你了解流形学习的数学基础
专知会员服务
45+阅读 · 2020年12月23日
图机器学习经典算法 louvain 完全解读
图与推荐
11+阅读 · 2020年8月10日
从动力学角度看优化算法:GAN的第三个阶段
PaperWeekly
11+阅读 · 2019年5月13日
从泰勒展开来看梯度下降算法
深度学习每日摘要
13+阅读 · 2019年4月9日
从信息瓶颈理论一瞥机器学习的“大一统理论”
基于数据的分布式鲁棒优化算法及其应用【附PPT与视频资料】
人工智能前沿讲习班
27+阅读 · 2018年12月13日
用机器学习来预测股价(代码+文档)——2018年iNTUtion决赛大作!
量化投资与机器学习
25+阅读 · 2018年11月20日
最新|深度离散哈希算法,可用于图像检索!
全球人工智能
14+阅读 · 2017年12月15日
干货|掌握机器学习数学基础之优化[1](重点知识)
机器学习研究会
10+阅读 · 2017年11月19日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
《基于深度强化学习的反无人机技术研究》178页
专知会员服务
1+阅读 · 今天16:06
“史诗怒火”行动与“AI中心战”模式的浮现
专知会员服务
2+阅读 · 今天15:31
【CVPR2026教程】扩散模型的解析理解
专知会员服务
0+阅读 · 今天14:49
马赛克战:俄乌战场透析
专知会员服务
13+阅读 · 今天4:12
《利用人工智能增强军事决策》
专知会员服务
4+阅读 · 今天4:09
《自动机器学习在军事数据耕耘法中的应用》
专知会员服务
6+阅读 · 今天4:02
为何指挥所生存能力要求范式转变
专知会员服务
5+阅读 · 今天3:54
打造“新蛛网”模式与高科技动员
专知会员服务
4+阅读 · 今天3:33
“蛛网”行动一周年:远程无人机战争
专知会员服务
3+阅读 · 今天3:23
【剑桥博士论文】智能体-环境协同优化
专知会员服务
7+阅读 · 6月9日
相关VIP内容
专知会员服务
32+阅读 · 2021年2月17日
124页哈佛数学系本科论文,带你了解流形学习的数学基础
专知会员服务
45+阅读 · 2020年12月23日
相关资讯
图机器学习经典算法 louvain 完全解读
图与推荐
11+阅读 · 2020年8月10日
从动力学角度看优化算法:GAN的第三个阶段
PaperWeekly
11+阅读 · 2019年5月13日
从泰勒展开来看梯度下降算法
深度学习每日摘要
13+阅读 · 2019年4月9日
从信息瓶颈理论一瞥机器学习的“大一统理论”
基于数据的分布式鲁棒优化算法及其应用【附PPT与视频资料】
人工智能前沿讲习班
27+阅读 · 2018年12月13日
用机器学习来预测股价(代码+文档)——2018年iNTUtion决赛大作!
量化投资与机器学习
25+阅读 · 2018年11月20日
最新|深度离散哈希算法,可用于图像检索!
全球人工智能
14+阅读 · 2017年12月15日
干货|掌握机器学习数学基础之优化[1](重点知识)
机器学习研究会
10+阅读 · 2017年11月19日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员