Scientific computer simulations cannot represent all scales in realistic applications. To bridge this model-data gap, parameters are injected into models and constrained with noisy data using Bayesian inversion. To reduce the number of simulator evaluations, which can be 10^5 or more, modern approaches employ dimension reduction in conjunction with emulation of the forward map (that contains the simulator). Due to scarcity of model evaluations and data, this dimension reduction becomes very important for posterior sampling performance. Recent work on likelihood-informed subspaces (LIS) truncates to informative directions by optimizing bounds on information loss, and though mathematically well-adapted to sampling, they are often restrictive in practice. In this work, we provably generalize this methodology to facilitate application to $α$-tempered (i.e., annealed, power-posterior) distributions for $α$ in [0,1]. We provide theory to build partially-informed spaces termed $α$-LIS. We show how $α$ < 1 can often produce near-optimal spaces. In addition, we focus on applying $α$-LIS to practical cases, where the available data is severely limited and noisy. We propose and test extensions for utilizing data from the entire sequence of distributions $α$_0 < ... < $α$_k, and use simple approximations of model gradients so that our approach can be used for emulation of forward maps for chaotic or stochastic systems where derivatives are unavailable or uninformative due to noise. In experiments, our accumulated approach is much more robust to these challenging circumstances than the theoretically optimal $α$ = 1.


翻译:科学计算机模拟无法在现实应用中涵盖所有尺度。为弥补这一模型-数据缺口,通过贝叶斯反演将参数注入模型并用含噪声数据加以约束。为减少可能达到10^5次甚至更多的模拟器评估次数,现代方法结合正向映射(包含模拟器)的代理建模进行降维。由于模型评估次数和数据的稀缺性,这种降维对后验采样性能至关重要。近期关于似然信息子空间(LIS)的研究通过优化信息损失边界截断至信息性方向,虽然数学上适用于采样,但在实践中往往限制较多。本文中,我们可证明地将这一方法推广至适用于[0,1]区间内$α$的$α$温度调节(即退火、幂后验)分布。我们提出构建称为$α$-LIS的部分信息空间的理论,并展示$α < 1$如何能常产生接近最优的空间。此外,我们重点将$α$-LIS应用于可用数据极其有限且含噪的实际案例中。我们提出并测试了利用整个分布序列$α_0 < ... < α_k$数据的扩展方法,并采用模型梯度的简单近似,使得该方法可用于混沌或随机系统中因噪声导致导数不可用或无信息性的正向映射代理建模。实验表明,与理论上最优的$α=1$相比,我们的累积方法在这些挑战性环境下具有更强的鲁棒性。

0
下载
关闭预览

相关内容

降维是将数据从高维空间转换为低维空间,以便低维表示保留原始数据的某些有意义的属性,理想情况下接近其固有维。降维在处理大量观察和/或大量变量的领域很常见,例如信号处理,语音识别,神经信息学和生物信息学。
【NeurIPS 2024】用于变分似然估计和图像去噪的扩散先验
专知会员服务
15+阅读 · 2024年10月26日
【CVPR2024】贝叶斯扩散模型用于三维形状重建
专知会员服务
34+阅读 · 2024年3月12日
简述多种降维算法
算法与数学之美
11+阅读 · 2018年9月23日
【深度】让DL可解释?这一份66页贝叶斯深度学习教程告诉你
GAN生成式对抗网络
15+阅读 · 2018年8月11日
贝叶斯机器学习前沿进展
机器学习研究会
21+阅读 · 2018年1月21日
国家自然科学基金
9+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
Arxiv
0+阅读 · 3月27日
VIP会员
最新内容
ICML 2026 | CFPO:用反事实策略优化提升多模态推理
专知会员服务
1+阅读 · 今天14:45
综述 | 世界动作模型:少做梦,多行动
专知会员服务
1+阅读 · 今天14:43
美以伊冲突:无人机与人工智能的运用
专知会员服务
3+阅读 · 今天14:31
《特种部队在透明战场中的生存力》最新报告
专知会员服务
2+阅读 · 今天14:11
《人工智能生成的零日漏洞:对未来作战的影响》
综述 | 3D场景图:开放挑战与未来方向
专知会员服务
8+阅读 · 6月22日
21世纪的无人机战争
专知会员服务
4+阅读 · 6月22日
《量子技术的军事任务技术适配与利用》
专知会员服务
5+阅读 · 6月22日
相关基金
国家自然科学基金
9+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员