Approximating integrals is a fundamental task in probability theory and statistical inference, and their applied fields of signal processing, and Bayesian learning, as soon as expectations over probability distributions must be computed efficiently and accurately. When these integrals lack closedform expressions, numerical methods must be used, from the Newton-Cotes formulas and Gaussian quadrature, to Monte Carlo and variational approximation techniques. Despite these numerous tools, few are guaranteed to preserve majoration/minoration inequalities, while this feature is fundamental in certain applications in statistics. In this paper, we focus on the integration problem arising in the estimation of moments of scalar unnormalized distributions. We introduce a sequential method for constructing upper and lower bounds on the sought integral. Our approach leverages the majorization-minimization framework to iteratively refine these bounds using an envelope principle. The method has proven convergence and controlled accuracy under mild conditions. We then generalize the method to the multi-dimensional setting, along with an effective implementation strategy based on power diagrams. We demonstrate the effectiveness of the proposed approach through a detailed numerical example of the estimation of a Monte Carlo sampler variance in a Bayesian inference problem, in one- and two-dimensional cases.


翻译:积分近似是概率论、统计推断及其应用领域(如信号处理和贝叶斯学习)中的基本任务,只要需要高效且精确地计算关于概率分布的期望值。当这些积分缺乏闭式表达式时,必须使用数值方法,从牛顿-柯特斯公式和高斯求积,到蒙特卡罗和变分近似技术。尽管有众多工具,但鲜有方法能保证保持上界/下界不等式关系,而这一特性在统计学的某些应用中至关重要。本文聚焦于非归一化标量分布矩估计中的积分问题。我们提出了一种构建所求积分上界和下界的序列方法。该方法利用最小化上界框架,通过包络原理迭代优化这些界。在温和条件下,该方法具有收敛性且精度可控。随后,我们将该方法推广到多维情形,并基于幂图提出了有效的实现策略。通过贝叶斯推断问题中蒙特卡罗采样器方差估计的详细数值实例(涵盖一维和二维情形),验证了所提方法的有效性。

0
下载
关闭预览

相关内容

【干货书】概率方法,第三版,373页pdf
专知会员服务
56+阅读 · 2023年2月2日
【2022新书】机器学习中的概率数值计算,412页pdf
专知会员服务
93+阅读 · 2022年7月7日
【干货书】概率与信息,一种集成方法,291页pdf
专知会员服务
70+阅读 · 2021年9月1日
国家自然科学基金
8+阅读 · 2017年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
8+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
4+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
7+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
4+阅读 · 6月17日
相关VIP内容
【干货书】概率方法,第三版,373页pdf
专知会员服务
56+阅读 · 2023年2月2日
【2022新书】机器学习中的概率数值计算,412页pdf
专知会员服务
93+阅读 · 2022年7月7日
【干货书】概率与信息,一种集成方法,291页pdf
专知会员服务
70+阅读 · 2021年9月1日
相关基金
国家自然科学基金
8+阅读 · 2017年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
8+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员