The coupled entropy, $H_κ,$ is proven to uniquely satisfy the requirement that a generalized entropy be a measure of the uncertainty at the scale, $σ,$ for a class of non-exponential distributions. The coupled stretched exponential distributions, including the generalized Pareto and Student's t distributions, are uniquely parameterized to quantify linear uncertainty with the scale and nonlinear uncertainty with the tail shape for a broad class of complex systems. Thereby, the coupled entropy optimizes the representation of the uncertainty due to linear sources. Lemmas for the composability and extensivity of the coupled entropy are proven. The uniqueness of the coupled entropy is further supported by demonstrating consistent thermodynamic relationships, which correspond to a model used for the momentum of high-energy particle collisions. Applications of the coupled entropy in measuring statistical complexity, training variational inference algorithms, and designing communication channels are reviewed.


翻译:耦合熵$H_κ$被证明是唯一满足以下要求的广义熵:对于一类非指数分布,该熵是尺度$σ$下不确定性的度量。耦合拉伸指数分布(包括广义帕累托分布和学生t分布)被唯一参数化,用以量化广泛复杂系统中由尺度决定的线性不确定性和由尾部形态决定的非线性不确定性。因此,耦合熵优化了对线性源所产生不确定性的表征。本文证明了耦合熵的可组合性与广延性引理。通过展示其与高能粒子碰撞动量模型相对应的、一致的热力学关系,进一步支持了耦合熵的唯一性。文中综述了耦合熵在测量统计复杂性、训练变分推断算法以及设计通信信道等方面的应用。

0
下载
关闭预览

相关内容

【ICML2022】熵因果推理:图的可辨识性
专知会员服务
28+阅读 · 2022年8月6日
专知会员服务
119+阅读 · 2021年3月23日
【Google】监督对比学习,Supervised Contrastive Learning
专知会员服务
75+阅读 · 2020年4月24日
详解GAN的谱归一化(Spectral Normalization)
PaperWeekly
11+阅读 · 2019年2月13日
换个角度看GAN:另一种损失函数
机器之心
16+阅读 · 2019年1月1日
稀疏性的3个优势 -《稀疏统计学习及其应用》
遇见数学
15+阅读 · 2018年10月24日
机器学习各种熵:从入门到全面掌握
AI研习社
10+阅读 · 2018年3月22日
从香农熵到手推KL散度:一文带你纵览机器学习中的信息论
算法与数学之美
10+阅读 · 2018年1月14日
【直观详解】信息熵、交叉熵和相对熵
机器学习研究会
10+阅读 · 2017年11月7日
最大熵原理(一)
深度学习探索
12+阅读 · 2017年8月3日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 2月19日
Arxiv
0+阅读 · 2月6日
Arxiv
0+阅读 · 1月31日
Arxiv
0+阅读 · 1月15日
VIP会员
相关资讯
详解GAN的谱归一化(Spectral Normalization)
PaperWeekly
11+阅读 · 2019年2月13日
换个角度看GAN:另一种损失函数
机器之心
16+阅读 · 2019年1月1日
稀疏性的3个优势 -《稀疏统计学习及其应用》
遇见数学
15+阅读 · 2018年10月24日
机器学习各种熵:从入门到全面掌握
AI研习社
10+阅读 · 2018年3月22日
从香农熵到手推KL散度:一文带你纵览机器学习中的信息论
算法与数学之美
10+阅读 · 2018年1月14日
【直观详解】信息熵、交叉熵和相对熵
机器学习研究会
10+阅读 · 2017年11月7日
最大熵原理(一)
深度学习探索
12+阅读 · 2017年8月3日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员