Bayesian inference for inverse problems is run to evaluate integrals -- posterior expectations, tail probabilities, and risks -- across a stream of observations. The standard estimate averages the integrand over posterior samples, a Monte-Carlo average whose error decays only as the square root of the sample size, so accuracy demands many samples -- prohibitive when each one calls a partial-differential-equation forward model. Mean-shift interacting particles need far fewer: they return a small set of signed-weight nodes -- a deterministic quadrature whose weighted averages estimate those integrals. Finding the nodes, however, is a per-observation optimization that, in its most accurate form, reads the posterior score at every step -- returning the cost it meant to save. We introduce amortized mean-shift interacting particles, a learned map that emits the weighted nodes from an observation and a few posterior samples in a single forward pass. Training asks only for joint parameter-observation samples and a posterior to draw from -- a conditional normalizing flow, an empirical conditional, or any reference the user can sample -- and the map learns to integrate that posterior from samples alone, evaluating neither its density nor its score. Once trained, it generalizes to unseen observations and integrands at any node budget and improves on independent samples in two ways: by reweighting them, provably no worse than the equal weights of Monte-Carlo; and by moving them, which empirically lowers it further. Across closed-form, sampled, learned, and physics-based posteriors -- up to a thousand-coefficient groundwater field -- it integrates more accurately than the same number of samples at every budget, and a posterior-whitened, dimension-aware kernel removes the high-dimensional wall. The result is a Pareto improvement on Monte-Carlo integration, not a competitor to drawing more samples.


翻译:逆问题中的贝叶斯推断通过评估积分——后验期望、尾部概率及风险——来处理连续观测流。标准估计方法通过对后验样本的被积函数取平均,这种蒙特卡洛平均的误差仅以样本量的平方根速度衰减,因此高精度需要大量样本——若每次调用均需求解偏微分方程前向模型,则成本过高。均值漂移交互粒子所需样本量远少于前者:它们返回一组带符号权重的节点——一种确定性求积方法,其加权平均值可估计上述积分。然而,寻找节点对每次观测均需执行优化,在最精确的形式下,每一步都需读取后验分数——反而抵消了本应节省的计算成本。我们提出摊销均值漂移交互粒子,这是一种学习到的映射,通过单次前向传播从观测值和少量后验样本中生成加权节点。训练仅需联合参数-观测样本及可从中抽样的后验——无论是条件归一化流、经验条件分布,还是用户能采样的任意参考分布——该映射仅从样本中学习如何对后验进行积分,既不评估其密度也不计算其分数。训练完成后,它能在任意节点预算下泛化至未见过的观测值与被积函数,并通过两种方式优于独立样本:其一,通过重加权,其效果必然不劣于蒙特卡洛的等权重;其二,通过移动节点,经验表明可进一步降低误差。在闭式、抽样、学习及基于物理的后验基准上(涵盖高达千维系数的地下水场),该映射在各种预算下均比同等数量的样本积分更精准,且后验白化与维度感知核可破除高维壁垒。最终实现对蒙特卡洛积分的帕累托改进,而非单纯增加样本量的竞争方案。

0
下载
关闭预览

相关内容

【NeurIPS 2020】近似推断进展,272页ppt
专知会员服务
33+阅读 · 2020年12月11日
【干货书】贝叶斯推断随机过程,449页pdf
专知
31+阅读 · 2020年8月27日
CVPR 2020 论文大盘点-光流篇
计算机视觉life
10+阅读 · 2020年7月17日
详解常见的损失函数
七月在线实验室
20+阅读 · 2018年7月12日
论文笔记:多任务相关粒子滤波跟踪器
统计学习与视觉计算组
10+阅读 · 2017年7月7日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
7+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
8+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
6+阅读 · 6月17日
相关VIP内容
【NeurIPS 2020】近似推断进展,272页ppt
专知会员服务
33+阅读 · 2020年12月11日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员