Across many domains of science, stochastic models are an essential tool to understand the mechanisms underlying empirically observed data. Models can be of different levels of detail and accuracy, with models of high-fidelity (i.e., high accuracy) to the phenomena under study being often preferable. However, inferring parameters of high-fidelity models via simulation-based inference is challenging, especially when the simulator is computationally expensive. We introduce a multifidelity approach to neural posterior estimation that uses transfer learning to leverage inexpensive low-fidelity simulations to efficiently infer parameters of high-fidelity simulators. Our method applies the multifidelity scheme to both amortized and non-amortized neural posterior estimation. We further improve simulation efficiency by introducing a sequential variant that uses an acquisition function targeting the predictive uncertainty of the density estimator to adaptively select high-fidelity parameters. On established benchmark and neuroscience tasks, our approaches require up to two orders of magnitude fewer high-fidelity simulations than current methods, while showing comparable performance. Overall, our approaches open new opportunities to perform efficient Bayesian inference on computationally expensive simulators.


翻译:在众多科学领域中,随机模型是理解经验观测数据背后机制的重要工具。模型可具有不同详细程度与准确性,其中与研究对象高保真(即高精度)的模型通常更受青睐。然而,基于仿真推断方法对高保真模型进行参数推断颇具挑战,尤其当模拟器计算成本高昂时。我们提出一种基于迁移学习的多保真度神经后验估计方法,利用低成本的低保真仿真数据高效推断高保真模拟器参数。该方法将多保真度框架同时应用于摊销式与非摊销式神经后验估计。通过引入一种基于密度估计器预测不确定性的采集函数进行自适应高保真参数选取的序贯变体,我们进一步提升了仿真效率。在标准基准测试与神经科学任务中,我们的方法所需高保真仿真量比现有方法减少两个数量级,同时保持可比的性能表现。总体而言,本方法为计算代价高昂的模拟器实现高效贝叶斯推断开辟了新途径。

0
下载
关闭预览

相关内容

用于多模态对齐的基础模型表征潜力:一项综述
专知会员服务
18+阅读 · 2025年10月8日
资源受限的大模型高效迁移学习算法研究
专知会员服务
27+阅读 · 2024年11月8日
动态数据驱动仿真综述
专知会员服务
53+阅读 · 2024年5月17日
【NeurIPS2022】M4I:多模态模型成员推断
专知会员服务
15+阅读 · 2022年9月17日
多模态认知计算
专知会员服务
182+阅读 · 2022年9月16日
自动结构变分推理,Automatic structured variational inference
专知会员服务
41+阅读 · 2020年2月10日
数据受限条件下的多模态处理技术综述
专知
22+阅读 · 2022年7月16日
【工大SCIR笔记】多模态信息抽取简述
深度学习自然语言处理
19+阅读 · 2020年4月3日
你的算法可靠吗? 神经网络不确定性度量
专知
40+阅读 · 2019年4月27日
边缘计算(一)——边缘计算的兴起
大数据和云计算技术
12+阅读 · 2018年12月25日
这可能是「多模态机器学习」最通俗易懂的介绍
计算机视觉life
113+阅读 · 2018年12月20日
机器学习模型的“可解释性”到底有多重要?
中国科学院自动化研究所
20+阅读 · 2018年3月1日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 4月25日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
7+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
8+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
6+阅读 · 6月17日
相关VIP内容
用于多模态对齐的基础模型表征潜力:一项综述
专知会员服务
18+阅读 · 2025年10月8日
资源受限的大模型高效迁移学习算法研究
专知会员服务
27+阅读 · 2024年11月8日
动态数据驱动仿真综述
专知会员服务
53+阅读 · 2024年5月17日
【NeurIPS2022】M4I:多模态模型成员推断
专知会员服务
15+阅读 · 2022年9月17日
多模态认知计算
专知会员服务
182+阅读 · 2022年9月16日
自动结构变分推理,Automatic structured variational inference
专知会员服务
41+阅读 · 2020年2月10日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员