We establish two structural majorization relations, which we call precursors, underlying the properties of supermodularity and subadditivity on the lattice induced by majorization. These are precursors in that they immediately imply that all sums of concave functions, which we dub sum-concave functions, are supermodular and subadditive on the majorization lattice. Using these majorization relations, we then show the supermodularity and subadditivity (in the lattice-theoretic sense) of Tsallis entropies (for all $α$) and Rényi entropies (for all $α> 1$), also recovering these properties for the Shannon entropy in the process. We further strengthen these inequalities, showing that: (i) all these entropic functionals are strictly subadditive on the majorization lattice; (ii) Tsallis entropies (and therefore the Shannon entropy as well) are strictly supermodular on the majorization lattice.


翻译:我们建立了两种结构性的majorization关系(称为前驱),它们构成了由majorization诱导的格上超模性与次可加性的基础。这些关系之所以被称为前驱,是因为它们直接蕴含:所有凹函数的和(我们称之为凹和函数)在majorization格上既是超模的又是次可加的。利用这些majorization关系,我们进一步证明了Tsallis熵(对所有$\alpha$)与Rényi熵(对所有$\alpha>1$)在格论意义上的超模性与次可加性,并在过程中重新推导了Shannon熵的这些性质。我们进一步强化了这些不等式,证明:(i) 所有这些熵泛函在majorization格上都是严格次可加的;(ii) Tsallis熵(因此也包括Shannon熵)在majorization格上具有严格超模性。

0
下载
关闭预览

相关内容

大模型的涌现能力介绍
专知会员服务
174+阅读 · 2023年5月16日
南大《优化方法 (Optimization Methods》课程,推荐!
专知会员服务
80+阅读 · 2022年4月3日
稀疏大模型简述:从MoE、Sparse Attention到GLaM
夕小瑶的卖萌屋
14+阅读 · 2022年3月22日
深度学习中Attention Mechanism详细介绍:原理、分类及应用
深度学习与NLP
10+阅读 · 2019年2月18日
Attention模型方法综述 | 多篇经典论文解读
PaperWeekly
107+阅读 · 2018年6月11日
超全总结:神经网络加速之量化模型 | 附带代码
概率图模型体系:HMM、MEMM、CRF
机器学习研究会
30+阅读 · 2018年2月10日
国家自然科学基金
0+阅读 · 2016年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
《通过小型无人机系统将情报能力“作战化”》
消耗优势:美军的“精确规模化”概念
专知会员服务
8+阅读 · 6月15日
《离线语言支持系统:面向空战战术决策》
专知会员服务
10+阅读 · 6月15日
相关VIP内容
大模型的涌现能力介绍
专知会员服务
174+阅读 · 2023年5月16日
南大《优化方法 (Optimization Methods》课程,推荐!
专知会员服务
80+阅读 · 2022年4月3日
相关基金
国家自然科学基金
0+阅读 · 2016年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员