Machine Learning Interatomic Potentials (MLIPs) are becoming a central tool in simulation-based chemistry. However, like most deep learning models, MLIPs struggle to make accurate predictions on out-of-distribution data or when trained in a data-scarce regime, both common scenarios in simulation-based chemistry. Moreover, MLIPs do not provide uncertainty estimates by construction, which are fundamental to guide active learning pipelines and to ensure the accuracy of simulation results compared to quantum calculations. To address this shortcoming, we propose BLIPs: Bayesian Learned Interatomic Potentials. BLIP is a scalable, architecture-agnostic variational Bayesian framework for training or fine-tuning MLIPs, built on an adaptive version of Variational Dropout. BLIP delivers well-calibrated uncertainty estimates and minimal computational overhead for energy and forces prediction at inference time, while integrating seamlessly with (equivariant) message-passing architectures. Empirical results on simulation-based computational chemistry tasks demonstrate improved predictive accuracy with respect to standard MLIPs, and trustworthy uncertainty estimates, especially in data-scarse or heavy out-of-distribution regimes. Moreover, fine-tuning pretrained MLIPs with BLIP yields consistent performance gains and calibrated uncertainties.


翻译:机器学习原子间势函数正逐渐成为基于模拟的化学研究中的核心工具。然而,与大多数深度学习模型类似,MLIPs 在分布外数据或数据稀缺的训练场景下难以做出准确预测,而这在基于模拟的化学研究中均为常见情况。此外,MLIPs 本身不提供不确定性估计,而该估计对于指导主动学习流程以及确保模拟结果相较于量子计算的准确性至关重要。为弥补这一不足,我们提出了 BLIPs:贝叶斯学习型原子间势函数。BLIP 是一种可扩展、架构无关的变分贝叶斯框架,基于自适应变分丢弃法构建,可用于训练或微调 MLIPs。该框架在推理阶段能够为能量和力的预测提供校准良好的不确定性估计,且计算开销极小,同时可与(等变)消息传递架构无缝集成。在基于模拟的计算化学任务上的实证结果表明,相较于标准 MLIPs,BLIP 在预测精度方面有所提升,并能提供可靠的不确定性估计,尤其在数据稀缺或严重分布外场景下表现突出。此外,使用 BLIP 对预训练的 MLIPs 进行微调可带来稳定的性能提升与校准后的不确定性估计。

0
下载
关闭预览

相关内容

【牛津大学博士论文】深度迁移学习贝叶斯推断,157页pdf
【BAAI|2019】用深度学习模拟原子间势,王涵  (附pdf)
专知会员服务
18+阅读 · 2019年11月21日
【深度】让DL可解释?这一份66页贝叶斯深度学习教程告诉你
GAN生成式对抗网络
15+阅读 · 2018年8月11日
贝叶斯机器学习前沿进展
机器学习研究会
21+阅读 · 2018年1月21日
国家自然科学基金
16+阅读 · 2017年12月31日
国家自然科学基金
17+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
VIP会员
相关基金
国家自然科学基金
16+阅读 · 2017年12月31日
国家自然科学基金
17+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员