We show that under convergence in measure of probability density functions, differential entropy converges whenever the entropy integrands $f_n |\log f_n|$ are uniformly integrable and tight -- a direct consequence of Vitali's convergence theorem. We give an entropy-weighted Orlicz condition: $\sup_n \int f_n\, Ψ(|\log f_n|) < \infty$ for a single superlinear~$Ψ$, strictly weaker than the fixed-$α$ condition of Godavarti and Hero (2004). We also disprove the Godavarti-Hero conjecture that $α> 1$ could be replaced by $α_n \downarrow 1$. We recover the sufficient conditions of Godavarti--Hero, Piera--Parada, and Ghourchian-Gohari-Amini as corollaries. On bounded domains, we prove that uniform integrability of the entropy integrands is both necessary and sufficient -- a complete characterization of entropy convergence.


翻译:我们证明,在概率密度函数依测度收敛的条件下,当熵被积函数 $f_n |\log f_n|$ 一致可积且紧时,微分熵收敛——这是维塔利收敛定理的直接推论。我们给出一个熵加权的Orlicz条件:对于单个超线性函数~$Ψ$,满足 $\sup_n \int f_n\, Ψ(|\log f_n|) < \infty$,这严格弱于Godavarti和Hero (2004) 的固定 $α$ 条件。我们也否定了Godavarti-Hero关于 $α> 1$ 可被 $α_n \downarrow 1$ 替代的猜想。作为推论,我们恢复了Godavarti–Hero、Piera–Parada以及Ghourchian-Gohari-Amini的充分条件。在有界域上,我们证明了熵被积函数的一致可积性既是必要的也是充分的——这给出了熵收敛的一个完整刻画。

0
下载
关闭预览

相关内容

【NeurIPS2025】熵正则化与分布强化学习的收敛定理
专知会员服务
12+阅读 · 2025年10月12日
《资源分配博弈中的收敛率》
专知会员服务
41+阅读 · 2023年3月10日
【简明书册】(随机)梯度方法的收敛定理手册,68页pdf
专知会员服务
39+阅读 · 2023年1月31日
【ICML2022】熵因果推理:图的可辨识性
专知会员服务
28+阅读 · 2022年8月6日
换个角度看GAN:另一种损失函数
机器之心
16+阅读 · 2019年1月1日
机器学习各种熵:从入门到全面掌握
AI研习社
10+阅读 · 2018年3月22日
从香农熵到手推KL散度:一文带你纵览机器学习中的信息论
算法与数学之美
10+阅读 · 2018年1月14日
【论文】深度学习的数学解释
机器学习研究会
10+阅读 · 2017年12月15日
【直观详解】信息熵、交叉熵和相对熵
机器学习研究会
10+阅读 · 2017年11月7日
微积分的本质 合集
遇见数学
12+阅读 · 2017年7月29日
从点到线:逻辑回归到条件随机场
夕小瑶的卖萌屋
15+阅读 · 2017年7月22日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Arxiv
0+阅读 · 1月15日
Arxiv
0+阅读 · 1月12日
VIP会员
相关资讯
换个角度看GAN:另一种损失函数
机器之心
16+阅读 · 2019年1月1日
机器学习各种熵:从入门到全面掌握
AI研习社
10+阅读 · 2018年3月22日
从香农熵到手推KL散度:一文带你纵览机器学习中的信息论
算法与数学之美
10+阅读 · 2018年1月14日
【论文】深度学习的数学解释
机器学习研究会
10+阅读 · 2017年12月15日
【直观详解】信息熵、交叉熵和相对熵
机器学习研究会
10+阅读 · 2017年11月7日
微积分的本质 合集
遇见数学
12+阅读 · 2017年7月29日
从点到线:逻辑回归到条件随机场
夕小瑶的卖萌屋
15+阅读 · 2017年7月22日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员