We develop a spectral theory for continuous- and discrete-time Blahut--Arimoto (BA) dynamics, centered on the relaxation kernel $ \G = \E_p[K^*_X \otimes K^*_X] $. Five main results are established. (i) Along the continuous-time BA flow, the free energy satisfies the exact $ χ^2 $-dissipation identity $ \dot F_β= -\D(q) $, where $ \D(q)=χ^2(\T q \| q) $ is the Pearson $ χ^2 $-divergence. (ii) The operator $ \G $ admits a threefold identity: it is simultaneously the Gram matrix of the equilibrium Gibbs kernels, the linearised generator of the BA vector field, and the Fisher--Rao Hessian of the free energy at the fixed point. (iii) For the discrete iteration, the one-step Lyapunov dissipation decomposes spectrally as $ Δ\mathcal{L}^{(2)} = \sum_i c_i^2\, d(λ_i) $, where $ d(λ) = -λ+ \tfrac{3}{2}λ^2 - \tfrac{1}{2}λ^3 $. This reveals a double bottleneck at $ λ\approx 0 $ and $ λ\approx 1 $, with optimal dissipation near $ λ\approx 0.423 $. (iv) Global convergence follows a two-stage mechanism: $ χ^2 $-dissipation drives finite-time entry into a local neighbourhood, after which the spectral gap $ \lam = λ_{\min}(\G|_T) $ governs exponential contraction. (v) The KL convergence factor is explicit: $ \KL(q^*\|q_{n+1}) \le (1-\lam)^2\,\KL(q^*\|q_n) + O(\|v_n\|_*^3) $, with per-iteration improvement $ γ= \lam(2-\lam) $. For Gaussian sources, $ \lam = 1/(2βσ^2) $ and the Jacobian is diagonalised by Hermite polynomials. The spectral formula complements Hayashi's global convergence theory with a constructive, computable local rate.


翻译:我们发展了连续与离散时间Blahut–Arimoto (BA)动力学的谱理论,该理论以松弛核 $ \G = \E_p[K^*_X \otimes K^*_X] $ 为核心。建立了五个主要结果。(i) 沿连续时间BA流,自由能满足精确的 $ \chi^2 $ 耗散恒等式 $ \dot F_β= -\D(q) $,其中 $ \D(q)=\chi^2(\T q \| q) $ 为Pearson $ \chi^2 $-散度。(ii) 算子 $ \G $ 具有三重身份:它同时是平衡态Gibbs核的Gram矩阵、BA向量场的线性化生成元,以及不动点处自由能的Fisher–Rao Hessian。(iii) 对于离散迭代,单步Lyapunov耗散可谱分解为 $ \Delta\mathcal{L}^{(2)} = \sum_i c_i^2\, d(λ_i) $,其中 $ d(λ) = -λ+ \tfrac{3}{2}λ^2 - \tfrac{1}{2}λ^3 $。这揭示了 $ \lambda\approx 0 $ 和 $ \lambda\approx 1 $ 处的双重瓶颈,最优耗散出现在 $ \lambda\approx 0.423 $ 附近。(iv) 全局收敛遵循两阶段机制:$ \chi^2 $-耗散驱动有限时间内进入局部邻域,随后谱隙 $ \lam = \lambda_{\min}(\G|_T) $ 主导指数收缩。(v) KL收敛因子是显式的:$ \KL(q^*\|q_{n+1}) \le (1-\lam)^2\,\KL(q^*\|q_n) + O(\|v_n\|_*^3) $,每次迭代改进因子为 $ \gamma= \lam(2-\lam) $。对于高斯源,$ \lam = 1/(2βσ^2) $,且Jacobian矩阵被Hermite多项式对角化。该谱公式以构造性、可计算的局部速率补充了Hayashi的全局收敛理论。

0
下载
关闭预览

相关内容

谱聚类与图结构学习的全面综述
专知会员服务
19+阅读 · 2025年1月25日
【新书】动力系统的收缩理论,258页pdf
专知会员服务
26+阅读 · 2024年11月22日
专知会员服务
27+阅读 · 2021年7月11日
详解GAN的谱归一化(Spectral Normalization)
PaperWeekly
11+阅读 · 2019年2月13日
最新|深度离散哈希算法,可用于图像检索!
全球人工智能
14+阅读 · 2017年12月15日
完全图解RNN、RNN变体、Seq2Seq、Attention机制
AI研习社
13+阅读 · 2017年9月5日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
1+阅读 · 今天14:45
定向能反无人机系统最新发展动态
专知会员服务
4+阅读 · 今天13:50
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
3+阅读 · 今天13:33
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员