The Large Deviation Principle (LDP) and the Central Limit Theorem (CLT) are concepts of information theory and probability. While their formulations are established under the i.i.d. assumption, the probabilistic foundation for power-law distributions has primarily evolved through descriptive models or variational principles, rather than a constructive derivation comparable to the classical binomial process. This paper establishes a constructive probabilistic framework for power-law distributions, proceeding from the nonlinear differential equation $dy/dx = y^q$ without assuming a specific distribution a priori. We build the algebraic and combinatorial foundations, which lead to a generalized binomial distribution based on finite counting. We prove the LDP for this generalized binomial distribution in the regime $0 < q < 1$, demonstrating that the $α$-divergence is identified as the rate function, and clarify the breakdown of this macroscopic scaling for heavier tails ($q > 1$). This result connects our constructive framework to the structures of information geometry. Furthermore, we prove a generalized de Moivre-Laplace theorem, showing that the generalized binomial distribution converges to a heavy-tailed limit distribution (the $q$-Gaussian distribution). We derive that the scaling law follows the order of $n^{q/2}$ as a consequence of the underlying nonlinearity. These analytical results are numerically verified for distinct values of $q \in (0, 2)$. This framework provides a constructive basis that unifies the shift-invariant exponential family and the rescaling-invariant power-law family.


翻译:大偏差原理(LDP)和中心极限定理(CLT)是信息论和概率论的核心概念。尽管它们的标准描述建立在独立同分布(i.i.d.)假设之上,但幂律分布的概率基础主要经由描述性模型或变分原理发展而来,缺少能与经典二项过程相媲美的构造性推导。本文为幂律分布建立了一个构造性概率框架,从非线性微分方程$dy/dx = y^q$出发,无需预先假定特定分布。我们构建了代数和组合基础,进而推导出基于有限计数的广义二项分布。在$0 < q < 1$范围内,我们证明了该广义二项分布的LDP,并表明$α$-散度被识别为率函数,同时阐明了对于更重尾分布($q > 1$)此宏观标度失效的原因。这一结果将我们的构造框架与信息几何结构联系起来。此外,我们证明了一个广义的棣莫弗-拉普拉斯定理,展示了广义二项分布收敛于重尾极限分布(即$q$-高斯分布)。我们推导出标度律遵循$n^{q/2}$阶次,这是底层非线性的直接结果。针对$q \in (0, 2)$的不同取值,这些分析结果均得到了数值验证。该框架提供了一种统一平移不变指数族和重标度不变幂律族的构造性基础。

0
下载
关闭预览

相关内容

【ETHZ博士论文】分布不确定性下的决策,234页pdf
专知会员服务
49+阅读 · 2024年4月5日
【干货书】概率与信息,一种集成方法,291页pdf
专知会员服务
70+阅读 · 2021年9月1日
机器学习领域必知必会的12种概率分布(附Python代码实现)
算法与数学之美
21+阅读 · 2019年10月18日
数据分析师应该知道的16种回归方法:泊松回归
数萃大数据
35+阅读 · 2018年9月13日
用PyTorch实现各种GANs(附论文和代码地址)
从香农熵到手推KL散度:一文带你纵览机器学习中的信息论
算法与数学之美
10+阅读 · 2018年1月14日
【直观详解】信息熵、交叉熵和相对熵
机器学习研究会
10+阅读 · 2017年11月7日
从概率论到多分类问题:综述贝叶斯统计分类
机器之心
14+阅读 · 2017年9月28日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
重新思考无人机时代的生存能力
专知会员服务
2+阅读 · 今天7:44
装甲突击旅:现代战争思考、战斗与组织
专知会员服务
2+阅读 · 今天7:28
在人工智能加速决策环境中拓展OODA循环
专知会员服务
3+阅读 · 今天7:18
军事欺骗:供作战战术指挥官使用的工具
专知会员服务
3+阅读 · 今天7:03
综述 | 世界动作模型:少做梦,多行动
专知会员服务
4+阅读 · 6月23日
美以伊冲突:无人机与人工智能的运用
专知会员服务
10+阅读 · 6月23日
《特种部队在透明战场中的生存力》最新报告
专知会员服务
5+阅读 · 6月23日
相关基金
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员