Moment-constrained maximum entropy (MaxEnt) reconstructs probability densities from a few moments in uncertainty evaluation (GUM) and reliability analysis. The classical method uses monomial constraints x^i. We show that monomials are merely one choice of generating element of the underlying Kunchenko decomposition space, and that this choice -- more than the solver -- governs which densities are representable and how well-conditioned the dual problem is. We study three elements under one dual solver: a fractional-power element (PATP) that reduces fractional-moment exponent selection to a one-dimensional scan on signed supports; a trigonometric (characteristic-function) element whose constraints exist for every distribution and keep the dual Hessian bounded; and a logarithmic-rational element log(1+(x/s)^2) whose single constraint yields the Student/Cauchy family (1+(x/s)^2)^lambda, representing algebraic tails the first two do not produce. A parity-admissibility theorem shows that an element of odd functions cannot represent any non-uniform symmetric density; the unifying lesson is a design map matching the element to the target's tail class. Empirically, on a bimodal Gaussian mixture the scan-selected fractional member cuts reconstruction MSE by 8.5x over the six-moment monomial baseline (all 20 seeds), while the trigonometric element is best-conditioned. On heavy tails the fractional element restores feasibility where monomial MaxEnt is infeasible (19/20 seeds) and reconstructs the body (KS 0.068) but not the tail, whereas the matched logarithmic element recovers the Cauchy tail index from one constraint. A variance-optimal rule (oPMM-alpha) selects the element for the reported functional. An analytical product-moment evaluator makes a measurement-and-verification optimization fitness exactly deterministic and faster than Monte Carlo, removing its noise-induced violations.


翻译:矩约束最大熵(MaxEnt)方法在不确定性评估(GUM)和可靠性分析中,通过少量矩重构概率密度。经典方法采用单项式约束x^i。我们证明单项式仅是Kunchenko分解空间中生成元的一种选择,而这种选择(而非求解器)决定了可表示密度类型及对偶问题的良态性。我们在同一对偶求解器下研究三种生成元:分数幂生成元(PATP),将分数矩指数选择简化为符号支撑集上的一维扫描;三角(特征函数)生成元,其约束对所有分布存在且保持对偶Hessian矩阵有界;对数有理生成元log(1+(x/s)^2),其单约束产生学生/柯西族(1+(x/s)^2)^lambda,可表示前两者无法生成的代数尾部。奇偶可容许性定理表明奇函数生成元无法表示任何非均匀对称密度;统一启示是建立生成元与目标尾部类匹配的设计映射。实验表明:对于双峰高斯混合,扫描选取的分数成员相比六矩单项式基线(所有20个种子)重构MSE降低8.5倍,而三角生成元具有最佳条件数。在重尾分布下,分数生成元恢复单项式MaxEnt不可行(19/20种子)的可行性,重构主体部分(KS 0.068)但未重构尾部,而匹配的对数生成元通过单约束恢复柯西尾部指数。方差最优规则(oPMM-alpha)为所报告函数选择生成元。解析乘积矩评估器使测量验证优化适应度精确确定性且快于蒙特卡洛方法,消除其噪声引发的违规。

0
下载
关闭预览

相关内容

【NeurIPS2022】基于最大熵编码的自监督学习
专知会员服务
27+阅读 · 2022年10月23日
基于深度元学习的因果推断新方法
图与推荐
12+阅读 · 2020年7月21日
机器学习各种熵:从入门到全面掌握
AI研习社
10+阅读 · 2018年3月22日
从香农熵到手推KL散度:一文带你纵览机器学习中的信息论
算法与数学之美
10+阅读 · 2018年1月14日
【直观详解】信息熵、交叉熵和相对熵
机器学习研究会
10+阅读 · 2017年11月7日
机器学习之确定最佳聚类数目的10种方法
炼数成金订阅号
13+阅读 · 2017年10月12日
最大熵原理(一)
深度学习探索
12+阅读 · 2017年8月3日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Arxiv
0+阅读 · 6月11日
Arxiv
0+阅读 · 5月12日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
6+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
7+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
4+阅读 · 6月17日
相关VIP内容
相关资讯
基于深度元学习的因果推断新方法
图与推荐
12+阅读 · 2020年7月21日
机器学习各种熵:从入门到全面掌握
AI研习社
10+阅读 · 2018年3月22日
从香农熵到手推KL散度:一文带你纵览机器学习中的信息论
算法与数学之美
10+阅读 · 2018年1月14日
【直观详解】信息熵、交叉熵和相对熵
机器学习研究会
10+阅读 · 2017年11月7日
机器学习之确定最佳聚类数目的10种方法
炼数成金订阅号
13+阅读 · 2017年10月12日
最大熵原理(一)
深度学习探索
12+阅读 · 2017年8月3日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员