Simulation-based inference (SBI) enables amortized Bayesian inference by first training a neural posterior estimator (NPE) on prior-simulator pairs, typically through low-dimensional summary statistics, which can then be cheaply reused for fast inference by querying it on new test observations. Because NPE is estimated under the training data distribution, it is susceptible to misspecification when observations deviate from the training distribution. Many robust SBI approaches address this by modifying NPE training or introducing error models, coupling robustness to the inference network and compromising amortization and modularity. We introduce minimum-distance summaries, a plug-in robust NPE method that adapts queried test-time summaries independently of the pretrained NPE. Leveraging the maximum mean discrepancy (MMD) as a distance between observed data and a summary-conditional predictive distribution, the adapted summary inherits strong robustness properties from the MMD. We demonstrate that the algorithm can be implemented efficiently with random Fourier feature approximations, yielding a lightweight, model-free test-time adaptation procedure. We provide theoretical guarantees for the robustness of our algorithm and empirically evaluate it on a range of synthetic and real-world tasks, demonstrating substantial robustness gains with minimal additional overhead.


翻译:基于模拟的推断(SBI)通过首先在先验-模拟器对(通常通过低维摘要统计量)上训练神经后验估计器(NPE),实现摊销式贝叶斯推断;随后,通过在新测试观测上查询该估计器,即可廉价地重复用于快速推断。由于NPE是在训练数据分布下估计的,当观测偏离训练分布时,其易受模型设定错误的影响。许多鲁棒SBI方法通过修改NPE训练或引入误差模型来解决此问题,但这将鲁棒性与推断网络耦合,损害了摊销性和模块化。我们提出最小距离摘要,这是一种即插即用的鲁棒NPE方法,可在不依赖预训练NPE的情况下,独立地调整查询时的测试摘要。该方法利用最大平均差异(MMD)作为观测数据与摘要条件预测分布之间的距离,使调整后的摘要继承了MMD的强大鲁棒特性。我们证明该算法可通过随机傅里叶特征近似高效实现,从而形成一个轻量级、无模型的测试时自适应过程。我们为算法的鲁棒性提供了理论保证,并在一系列合成及现实任务上进行了实证评估,结果表明该方法能以极小的额外开销实现显著的鲁棒性提升。

0
下载
关闭预览

相关内容

【NeurIPS 2020】近似推断进展,272页ppt
专知会员服务
33+阅读 · 2020年12月11日
你的算法可靠吗? 神经网络不确定性度量
专知
40+阅读 · 2019年4月27日
贝叶斯机器学习前沿进展
机器学习研究会
21+阅读 · 2018年1月21日
最新|深度离散哈希算法,可用于图像检索!
全球人工智能
14+阅读 · 2017年12月15日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
VIP会员
相关VIP内容
【NeurIPS 2020】近似推断进展,272页ppt
专知会员服务
33+阅读 · 2020年12月11日
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员