Generalized Bayesian Inference (GBI) tempers a loss with a temperature $β>0$ to mitigate overconfidence and improve robustness under model misspecification, but existing GBI methods typically rely on costly MCMC or SDE-based samplers and must be re-run for each new dataset and each $β$ value. We give the first fully amortized variational approximation to the tempered posterior family $p_β(θ\mid x) \propto π(θ)\,p(x \mid θ)^β$ by training a single $(x,β)$-conditioned neural posterior estimator $q_φ(θ\mid x,β)$ that enables sampling in a single forward pass, without simulator calls or inference-time MCMC. We introduce two complementary training routes: (i) synthesize off-manifold samples $(θ,x) \sim π(θ)\,p(x \mid θ)^β$ and (ii) reweight a fixed base dataset $π(θ)\,p(x \mid θ)$ using self-normalized importance sampling (SNIS). We show that the SNIS-weighted objective provides a consistent forward-KL fit to the tempered posterior with finite weight variance. Across four standard simulation-based inference (SBI) benchmarks, including the chaotic Lorenz-96 system, our $β$-amortized estimator achieves competitive posterior approximations in standard two-sample metrics, matching non-amortized MCMC-based power-posterior samplers over a wide range of temperatures.


翻译:广义贝叶斯推断(GBI)通过引入温度参数 $β>0$ 对损失函数进行调节,以缓解模型设定错误下的过度自信问题并提升鲁棒性。然而,现有GBI方法通常依赖于计算代价高昂的MCMC或基于SDE的采样器,且需针对每个新数据集及每个 $β$ 值重新执行推断。本文首次提出对温度化后验族 $p_β(θ\mid x) \propto π(θ)\,p(x \mid θ)^β$ 的完全摊销变分近似:通过训练一个单一的条件化神经后验估计器 $q_φ(θ\mid x,β)$,使其能够在单次前向传播中实现采样,无需调用模拟器或进行推断时的MCMC计算。我们提出了两种互补的训练策略:(i)合成流形外样本 $(θ,x) \sim π(θ)\,p(x \mid θ)^β$;(ii)使用自归一化重要性采样(SNIS)对固定基础数据集 $π(θ)\,p(x \mid θ)$ 进行重加权。我们证明,在有限权重方差条件下,SNIS加权目标函数能够为温度化后验提供一致的前向KL拟合。在包括混沌Lorenz-96系统在内的四个标准模拟推断(SBI)基准测试中,我们的 $β$-摊销估计器在标准双样本度量下获得了具有竞争力的后验近似效果,其性能在较宽的温度范围内与基于MCMC的非摊销幂后验采样器相当。

0
下载
关闭预览

相关内容

【新书】贝叶斯推断:理论、方法、计算,347页pdf
专知会员服务
87+阅读 · 2024年6月8日
专知会员服务
33+阅读 · 2021年5月18日
【干货书】贝叶斯推断随机过程,449页pdf
专知
30+阅读 · 2020年8月27日
【新书册】贝叶斯神经网络,41页pdf
专知
29+阅读 · 2020年6月3日
面试题:简单说说贝叶斯定理
七月在线实验室
12+阅读 · 2019年6月12日
一文读懂机器学习中的贝叶斯统计学
数据分析
26+阅读 · 2019年5月8日
贝叶斯机器学习前沿进展
机器学习研究会
21+阅读 · 2018年1月21日
国家自然科学基金
16+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
VIP会员
相关VIP内容
相关资讯
相关基金
国家自然科学基金
16+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员