Simulation-based inference (SBI) enables amortized Bayesian inference by first training a neural posterior estimator (NPE) on prior-simulator pairs, typically through low-dimensional summary statistics, which can then be cheaply reused for fast inference by querying it on new test observations. Because NPE is estimated under the training data distribution, it is susceptible to misspecification when observations deviate from the training distribution. Many robust SBI approaches address this by modifying NPE training or introducing error models, coupling robustness to the inference network and compromising amortization and modularity. We introduce minimum-distance summaries, a plug-in robust NPE method that adapts queried test-time summaries independently of the pretrained NPE. Leveraging the maximum mean discrepancy (MMD) as a distance between observed data and a summary-conditional predictive distribution, the adapted summary inherits strong robustness properties from the MMD. We demonstrate that the algorithm can be implemented efficiently with random Fourier feature approximations, yielding a lightweight, model-free test-time adaptation procedure. We provide theoretical guarantees for the robustness of our algorithm and empirically evaluate it on a range of synthetic and real-world tasks, demonstrating substantial robustness gains with minimal additional overhead.


翻译:基于模拟的推理(SBI)通过先在先验-模拟器对上训练神经后验估计器(NPE),通常借助低维摘要统计量实现摊销贝叶斯推理,随后可低成本地在新测试观测上查询该估计器以快速完成推理。由于NPE是在训练数据分布下估计的,当观测偏离训练分布时,它容易受到模型误设的影响。许多鲁棒SBI方法通过修改NPE训练或引入误差模型来解决此问题,但这会将鲁棒性与推理网络耦合,从而削弱摊销性和模块化特性。我们提出最小距离摘要——一种即插即用的鲁棒NPE方法,该方法独立于预训练NPE自适应调整测试时的摘要。利用最大均值差异(MMD)作为观测数据与摘要条件预测分布之间的距离度量,自适应摘要从MMD继承了强鲁棒性属性。我们证明该算法可通过随机傅里叶特征近似高效实现,从而形成轻量级、无模型的测试时自适应流程。我们为算法的鲁棒性提供了理论保证,并在合成与现实任务上进行了实证评估,结果表明在极小额外开销下实现了显著的鲁棒性提升。

0
下载
关闭预览

相关内容

【NeurIPS 2020】近似推断进展,272页ppt
专知会员服务
33+阅读 · 2020年12月11日
「因果推理」概述论文,13页pdf
专知
16+阅读 · 2021年3月20日
类脑计算的前沿论文,看我们推荐的这7篇
人工智能前沿讲习班
21+阅读 · 2019年1月7日
从最大似然到EM算法:一致的理解方式
PaperWeekly
19+阅读 · 2018年3月19日
最新|深度离散哈希算法,可用于图像检索!
全球人工智能
14+阅读 · 2017年12月15日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
5+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
7+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
4+阅读 · 6月17日
相关VIP内容
【NeurIPS 2020】近似推断进展,272页ppt
专知会员服务
33+阅读 · 2020年12月11日
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员