Simulation-based inference (SBI) enables parameter estimation for complex stochastic models with intractable likelihoods when model simulation is feasible. Neural posterior estimation (NPE) is a popular SBI approach that often achieves accurate inference with far fewer simulations than classical approaches. But in practice, neural approaches can be unreliable for two reasons: incompatible data summaries arising from model misspecification yield unreliable posteriors due to extrapolation, and prior-predictive draws can produce extreme summaries that lead to difficulties in obtaining an accurate posterior for the observed data of interest. Existing preconditioning schemes target well-specified settings, and their behaviour under misspecification remains unexplored. We study preconditioning under misspecification and propose preconditioned robust neural posterior estimation, which computes data-dependent weights that focus training near the observed summaries and fits a robust neural posterior approximation. We also introduce a forest-proximity preconditioning approach that uses tree-based proximity scores to down-weight outlying simulations and concentrate computation around the observed dataset. Across two synthetic examples and one real example with incompatible summaries and extreme prior-predictive behaviour, we demonstrate that preconditioning combined with robust NPE increases stability and improves accuracy, calibration, and posterior-predictive fit over standard baseline methods.


翻译:基于模拟的推断(SBI)能够在模型模拟可行时,对具有难处理似然函数的复杂随机模型进行参数估计。神经后验估计(NPE)是一种流行的SBI方法,通常比传统方法使用少得多的模拟次数即可实现精确推断。但在实践中,神经方法可能因两个原因而不可靠:模型设定错误导致的不兼容数据摘要会因外推而产生不可靠的后验;先验预测抽样可能产生极端摘要,导致难以获得目标观测数据的准确后验。现有的预条件方案针对正确设定场景,其在错误设定下的行为尚未得到探索。我们研究了错误设定下的预条件处理,提出了预条件鲁棒神经后验估计方法,该方法计算数据依赖的权重以将训练聚焦于观测摘要附近,并拟合鲁棒的神经后验近似。我们还引入了一种森林邻近预条件方法,利用基于树的邻近度评分降低异常模拟的权重,并将计算集中在观测数据集周围。通过两个具有不兼容摘要和极端先验预测行为的合成示例及一个真实示例,我们证明预条件处理与鲁棒NPE相结合,相比标准基线方法能提高稳定性,并改善准确性、校准度及后验预测拟合度。

0
下载
关闭预览

相关内容

神经模型中组合求解器和离散分布的集成,77页ppt
专知会员服务
23+阅读 · 2022年12月30日
【牛津大学博士论文】鲁棒神经网络:评估与构建
专知会员服务
35+阅读 · 2022年10月23日
基于深度元学习的因果推断新方法
图与推荐
12+阅读 · 2020年7月21日
你的算法可靠吗? 神经网络不确定性度量
专知
40+阅读 · 2019年4月27日
类脑计算的前沿论文,看我们推荐的这7篇
人工智能前沿讲习班
21+阅读 · 2019年1月7日
自然语言处理中的语言模型预训练方法
PaperWeekly
14+阅读 · 2018年10月21日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
Arxiv
0+阅读 · 2月20日
VIP会员
相关VIP内容
神经模型中组合求解器和离散分布的集成,77页ppt
专知会员服务
23+阅读 · 2022年12月30日
【牛津大学博士论文】鲁棒神经网络:评估与构建
专知会员服务
35+阅读 · 2022年10月23日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员