Bayesian data analysis is widely used across many disciplines, and representative examples in materials science include spectral analysis and sparse modeling. In such applications, the underlying models often become complex and yield multimodal posterior distributions, making efficient sampling from multimodal distributions essential. Replica exchange Monte Carlo has been commonly employed for this purpose; however, its performance strongly depends on difficult parameter tuning, such as the design of the inverse temperature. In this study, we comparatively investigate sampling algorithms that require fewer tuning parameters for Bayesian data analysis in materials science. Specifically, we compare three approaches: non-reversible parallel tempering (NRPT), sequential Monte Carlo samplers (SMCS), and a newly proposed method, sequential exchange Monte Carlo (SEMC). Our results indicate that NRPT can require computational time for parameter tuning, while SMCS requires careful adjustment of the number of MCMC steps at each temperature level. In contrast, SEMC achieves robust convergence across a range of problem settings without additional tuning, demonstrating its practicality for Bayesian inference.


翻译:贝叶斯数据分析在众多学科中得到广泛应用,材料科学中的典型实例包括谱分析和稀疏建模。在此类应用中,底层模型往往变得复杂并产生多峰后验分布,因此从多峰分布中进行高效采样至关重要。副本交换蒙特卡洛方法常被用于此目的;然而其性能高度依赖于困难的参数调优,例如逆温度的设计。本研究针对材料科学中的贝叶斯数据分析,比较研究了需要较少调优参数的采样算法。具体而言,我们比较了三种方法:不可逆并行回火(NRPT)、序贯蒙特卡洛采样器(SMCS)以及新提出的序贯交换蒙特卡洛(SEMC)方法。研究结果表明,NRPT可能需要参数调优的计算时间,而SMCS需要在每个温度层级仔细调整MCMC步数。相比之下,SEMC在多种问题设置下均能实现稳健收敛且无需额外调优,证明了其在贝叶斯推断中的实用性。

0
下载
关闭预览

相关内容

【2023新书】贝叶斯优化:使用Python的理论和实践,243页pdf
【ICLR2022】Transformers亦能贝叶斯推断
专知会员服务
25+阅读 · 2021年12月23日
【干货书】贝叶斯统计分析方法,697页pdf
专知会员服务
126+阅读 · 2021年12月18日
【Nature】贝叶斯统计与建模综述,26页pdf
专知会员服务
77+阅读 · 2021年1月21日
一文读懂机器学习中的贝叶斯统计学
数据分析
26+阅读 · 2019年5月8日
【深度】让DL可解释?这一份66页贝叶斯深度学习教程告诉你
GAN生成式对抗网络
15+阅读 · 2018年8月11日
不用数学讲清马尔可夫链蒙特卡洛方法?
算法与数学之美
16+阅读 · 2018年8月8日
贝叶斯机器学习前沿进展
机器学习研究会
21+阅读 · 2018年1月21日
一文读懂贝叶斯分类算法(附学习资源)
大数据文摘
12+阅读 · 2017年12月14日
国家自然科学基金
16+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 2月3日
VIP会员
最新内容
最新“指挥控制”领域出版物合集(16份)
专知会员服务
5+阅读 · 4月12日
面向军事作战需求开发的人工智能(RAIMOND)
专知会员服务
12+阅读 · 4月12日
远程空中优势:新一代超视距导弹的兴起
专知会员服务
2+阅读 · 4月12日
大语言模型溯因推理的统一分类学与综述
专知会员服务
2+阅读 · 4月12日
相关资讯
一文读懂机器学习中的贝叶斯统计学
数据分析
26+阅读 · 2019年5月8日
【深度】让DL可解释?这一份66页贝叶斯深度学习教程告诉你
GAN生成式对抗网络
15+阅读 · 2018年8月11日
不用数学讲清马尔可夫链蒙特卡洛方法?
算法与数学之美
16+阅读 · 2018年8月8日
贝叶斯机器学习前沿进展
机器学习研究会
21+阅读 · 2018年1月21日
一文读懂贝叶斯分类算法(附学习资源)
大数据文摘
12+阅读 · 2017年12月14日
相关基金
国家自然科学基金
16+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员