In this paper, we study Sibson's $α$-mutual information in the context of the additive Gaussian noise channel. While the classical case $α= 1$ is well understood and admits deep connections to estimation-theoretic quantities, such as the minimum mean-square error (MMSE) and Fisher information, many of the corresponding structural properties for general $α$ remain less explored. Our goal is to develop a systematic understanding of $α$-mutual information in the Gaussian noise setting and to identify which properties extend beyond the Shannon case. To this end, we establish several regularity properties, including finiteness conditions, continuity with respect to the signal-to-noise ratio (SNR) and the input distribution, and strict concavity/convexity properties that ensure uniqueness in associated optimization problems. A central contribution is the development of an $α$-I-MMSE relationship, generalizing the classical identity by relating the derivative of $α$-mutual information with respect to SNR to the MMSE evaluated under appropriately tilted distributions. This connection further leads to a generalized de Bruijn identity and new estimation-theoretic representations of Rényi entropy and differential Rényi entropy. We also characterize the low- and high-SNR behavior. In the low-SNR regime, the first-order behavior depends only on the input variance. In the high-SNR regime, for discrete inputs, $α$-mutual information converges to the Rényi entropy of order $1/α$, while for general inputs we connect it to $α$-information dimension. Overall, our results show that many fundamental relationships between information and estimation extend beyond the Shannon setting, in a form involving $α$-tilted distributions.


翻译:本文在加性高斯噪声信道的背景下研究Sibson的$α$-互信息。尽管经典情形$α= 1$已被充分理解,并与最小均方误差(MMSE)和费舍尔信息等估计理论量建立了深刻联系,但一般$α$对应的许多结构性质仍有待探索。我们的目标是在高斯噪声场景下系统建立对$α$-互信息的理解,并识别哪些性质能超越香农情形。为此,我们确立了若干正则性质,包括有限性条件、关于信噪比(SNR)和输入分布的连续性,以及保证相关优化问题中唯一性的严格凹性/凸性性质。核心贡献是提出了$α$-I-MMSE关系,该关系将$α$-互信息对SNR的导数与在适当倾斜分布下计算的MMSE相关联,从而推广了经典恒等式。这一联系进一步导出了广义的de Bruijn恒等式以及Rényi熵和微分Rényi熵的新估计理论表示。我们还刻画了低SNR和高SNR行为。在低SNR区域,一阶行为仅取决于输入方差。在高SNR区域,对于离散输入,$α$-互信息收敛于阶数为$1/α$的Rényi熵,而对于一般输入,我们将其与$α$-信息维数关联。总体而言,我们的结果表明,信息与估计之间的许多基本关系能以涉及$α$-倾斜分布的形式超越香农框架。

0
下载
关闭预览

相关内容

互信息(Mutual Information)是信息论里一种有用的信息度量,它可以看成是一个随机变量中包含的关于另一个随机变量的信息量,或者说是一个随机变量由于已知另一个随机变量而减少的不肯定性.
《基于功耗和电磁的侧信道攻击对策综述》
专知会员服务
17+阅读 · 1月25日
【CMU博士论文】高斯表示的可微渲染和优化,198页pdf
专知会员服务
27+阅读 · 2023年10月5日
去噪扩散概率模型,46页ppt
专知会员服务
63+阅读 · 2023年1月4日
专知会员服务
119+阅读 · 2021年3月23日
【AAAI2021】图卷积网络中的低频和高频信息作用
专知会员服务
59+阅读 · 2021年1月6日
干货 | Github项目推荐 : GANSynth: 用GANs创作音乐
AI科技评论
10+阅读 · 2019年3月2日
解读 | 得见的高斯过程
机器学习算法与Python学习
14+阅读 · 2019年2月13日
【学界】GANs最新综述论文: 生成式对抗网络及其变种如何有用
GAN生成式对抗网络
30+阅读 · 2019年1月5日
从香农熵到手推KL散度:一文带你纵览机器学习中的信息论
算法与数学之美
10+阅读 · 2018年1月14日
【直观详解】信息熵、交叉熵和相对熵
机器学习研究会
10+阅读 · 2017年11月7日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
Arxiv
0+阅读 · 5月1日
VIP会员
最新内容
综述 | 3D场景图:开放挑战与未来方向
专知会员服务
2+阅读 · 6月22日
21世纪的无人机战争
专知会员服务
3+阅读 · 6月22日
《量子技术的军事任务技术适配与利用》
专知会员服务
3+阅读 · 6月22日
美国从乌克兰无人机战争中学习经验
专知会员服务
7+阅读 · 6月21日
ICML 2026 | 面向视觉语言模型的语义鲁棒性认证
专知会员服务
5+阅读 · 6月21日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员