The coupled entropy is proven to uniquely satisfy the requirement that a generalized entropy be equivalent to the density at the scale for scale-shape distributions. Further, its maximizing distributions, the coupled stretched exponential distributions, are proven to quantify the linear uncertainty with the scale and the nonlinear uncertainty with the shape for a broad class of complex systems. Distributions of the coupled exponentials include the Pareto Types I-IV and Gosset's Student-t. For the Pareto Type II distribution, the Boltzmann-Gibbs-Shannon entropy has a linear dependence on the shape, which dominates over the logarithmic dependence on the scale, motivating the need for a generalization. The Rényi and Tsallis entropies are shown to be of historic importance but ultimately unsatisfactory generalizations. The coupled entropy of the coupled stretched exponential distribution isolates the nonlinear-shape dependence to a generalized logarithm of the partition function. The Rényi and Tsallis entropies retain a strong dependence on the nonlinear-shape such that they are not equivalent to the uncertainty at the scale. Lemmas for the composability and extensivity of the coupled entropy are proven in support of an axiomatic definition. The scope of the coupled entropy includes systems in which the growth of states is power-law, stretched exponential, or a combination.


翻译:耦合熵被证明唯一满足广义熵在尺度-形状分布中与尺度密度等价的要求。进一步地,其最大化分布——耦合拉伸指数分布——被证明能够量化广泛复杂系统中尺度的线性不确定性与形状的非线性不确定性。耦合指数分布包括帕累托I-IV型分布和高斯学生t分布。对于帕累托II型分布,玻尔兹曼-吉布斯-香农熵对形状具有线性依赖性,该依赖性主导了对尺度的对数依赖性,这推动了对广义熵的需求。研究表明,Rényi熵和Tsallis熵具有历史重要性,但最终作为广义化方案并不令人满意。耦合拉伸指数分布的耦合熵将非线性形状依赖性隔离至配分函数的广义对数中。Rényi熵和Tsallis熵仍保持对非线性形状的强依赖性,导致其无法等价于尺度不确定性。本文证明了耦合熵的可组合性与广延性引理,以支持其公理化定义。耦合熵的适用范围包括状态增长呈幂律、拉伸指数或两者组合的系统。

0
下载
关闭预览

相关内容

UnHiPPO:面向不确定性的状态空间模型初始化方法
专知会员服务
11+阅读 · 2025年6月6日
【ICML2024】变分薛定谔扩散模型
专知会员服务
20+阅读 · 2024年5月11日
【NeurIPS2022】黎曼扩散模型
专知会员服务
43+阅读 · 2022年9月15日
【AAAI2022】基于分层随机注意的Transformer 不确定性估计
专知会员服务
29+阅读 · 2021年12月29日
NeurIPS 2021 | 寻找用于变分布泛化的隐式因果因子
专知会员服务
17+阅读 · 2021年12月7日
专知会员服务
26+阅读 · 2021年9月9日
专知会员服务
25+阅读 · 2021年7月31日
专知会员服务
23+阅读 · 2021年6月22日
专知会员服务
50+阅读 · 2021年6月2日
【ICML2021】因果匹配领域泛化
专知
12+阅读 · 2021年8月12日
【CVPR2021】跨模态检索的概率嵌入
专知
17+阅读 · 2021年3月2日
详解常见的损失函数
七月在线实验室
20+阅读 · 2018年7月12日
条件概率和贝叶斯公式 - 图解概率 03
遇见数学
10+阅读 · 2018年6月5日
傅里叶变换和拉普拉斯变换的物理解释及区别
算法与数学之美
11+阅读 · 2018年2月5日
CNN 反向传播算法推导
统计学习与视觉计算组
30+阅读 · 2017年12月29日
PCA的基本数学原理
算法与数学之美
11+阅读 · 2017年8月8日
EKF常用于目标跟踪系统的扩展卡尔曼滤波器
无人机
10+阅读 · 2017年7月25日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
Arxiv
18+阅读 · 2024年12月27日
A Survey of Large Language Models
Arxiv
499+阅读 · 2023年3月31日
Arxiv
16+阅读 · 2022年5月17日
Arxiv
18+阅读 · 2021年3月16日
Recent advances in deep learning theory
Arxiv
50+阅读 · 2020年12月20日
VIP会员
相关VIP内容
UnHiPPO:面向不确定性的状态空间模型初始化方法
专知会员服务
11+阅读 · 2025年6月6日
【ICML2024】变分薛定谔扩散模型
专知会员服务
20+阅读 · 2024年5月11日
【NeurIPS2022】黎曼扩散模型
专知会员服务
43+阅读 · 2022年9月15日
【AAAI2022】基于分层随机注意的Transformer 不确定性估计
专知会员服务
29+阅读 · 2021年12月29日
NeurIPS 2021 | 寻找用于变分布泛化的隐式因果因子
专知会员服务
17+阅读 · 2021年12月7日
专知会员服务
26+阅读 · 2021年9月9日
专知会员服务
25+阅读 · 2021年7月31日
专知会员服务
23+阅读 · 2021年6月22日
专知会员服务
50+阅读 · 2021年6月2日
相关资讯
【ICML2021】因果匹配领域泛化
专知
12+阅读 · 2021年8月12日
【CVPR2021】跨模态检索的概率嵌入
专知
17+阅读 · 2021年3月2日
详解常见的损失函数
七月在线实验室
20+阅读 · 2018年7月12日
条件概率和贝叶斯公式 - 图解概率 03
遇见数学
10+阅读 · 2018年6月5日
傅里叶变换和拉普拉斯变换的物理解释及区别
算法与数学之美
11+阅读 · 2018年2月5日
CNN 反向传播算法推导
统计学习与视觉计算组
30+阅读 · 2017年12月29日
PCA的基本数学原理
算法与数学之美
11+阅读 · 2017年8月8日
EKF常用于目标跟踪系统的扩展卡尔曼滤波器
无人机
10+阅读 · 2017年7月25日
相关论文
Arxiv
18+阅读 · 2024年12月27日
A Survey of Large Language Models
Arxiv
499+阅读 · 2023年3月31日
Arxiv
16+阅读 · 2022年5月17日
Arxiv
18+阅读 · 2021年3月16日
Recent advances in deep learning theory
Arxiv
50+阅读 · 2020年12月20日
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员