Sampling configurations at thermodynamic equilibrium is a central challenge in statistical physics. Boltzmann Generators (BGs) tackle it by combining a generative model with a Monte Carlo (MC) correction step to obtain asymptotically unbiased samples from an unnormalized target. Most current BGs use classic MC mechanisms such as importance sampling, which both require tractable likelihoods from the backbone model and scale poorly in high-dimensional, multi-modal targets. We study BGs built on annealed Monte Carlo (aMC), which is designed to overcome these limitations by bridging a simple reference to the target through a sequence of intermediate densities. Diffusion models (DMs) are powerful generative models and have already been incorporated into aMC-based recalibration schemes via the diffusion-induced density path, making them appealing backbones for aMC-BGs. We provide an empirical meta-analysis of DM-based aMC-BGs on controlled multi-modal Gaussian mixtures (varying mode separation, number of modes, and dimension), explicitly disentangling inference effects from learning effects by comparing (i) a perfectly learned DM and (ii) a DM trained from data. Even with a perfect DM, standard integrations using only first-order stochastic denoising kernels fail systematically, whereas second-order denoising kernels can substantially improve performance when covariance information is available. We further propose a deterministic aMC integration based on first-order transport maps derived from DMs, which outperforms the stochastic first-order variant at higher computational cost. Finally, in the learned-DM setting, all DM-aMC variants struggle to produce accurate BGs; we trace the main bottleneck to inaccurate DM log-density estimation.


翻译:在统计物理学中,从热力学平衡态采样构型是一个核心挑战。玻尔兹曼生成器(BGs)通过将生成模型与蒙特卡洛(MC)校正步骤相结合,以从非归一化目标分布中获取渐近无偏的样本。当前大多数BGs采用经典的MC机制(如重要性采样),这些机制既要求主干模型具有易处理的似然函数,又在高维、多峰目标分布中扩展性较差。我们研究了基于退火蒙特卡洛(aMC)构建的BGs,该方法旨在通过一系列中间密度连接简单参考分布与目标分布,从而克服这些限制。扩散模型(DMs)是强大的生成模型,并已通过扩散诱导的密度路径被纳入基于aMC的重新校准方案中,使其成为aMC-BGs极具吸引力的主干模型。我们在受控的多峰高斯混合模型(变化峰间距、峰数量及维度)上对基于DM的aMC-BGs进行了实证元分析,通过比较(i)完美学习的DM与(ii)从数据训练的DM,明确区分了推断效应与学习效应。即使使用完美的DM,仅采用一阶随机去噪核的标准积分方法也会系统性失效,而当协方差信息可用时,二阶去噪核可显著提升性能。我们进一步提出了一种基于从DMs导出的一阶输运映射的确定性aMC积分方法,该方法以更高的计算成本优于随机一阶变体。最后,在已学习DM的设置中,所有DM-aMC变体均难以生成精确的BGs;我们将主要瓶颈追溯至不准确的DM对数密度估计。

0
下载
关闭预览

相关内容

144页ppt《扩散模型》,Google DeepMind Sander Dieleman
专知会员服务
50+阅读 · 2025年11月21日
用于语言生成的离散扩散模型
专知会员服务
11+阅读 · 2025年7月10日
生成式人工智能的扩散模型概述
专知会员服务
66+阅读 · 2024年12月8日
【PAISS 2021 教程】概率散度与生成式模型,92页ppt
专知会员服务
34+阅读 · 2021年11月30日
CFGAN:基于生成对抗网络的协同过滤框架
视频生成的前沿论文,看我们推荐的7篇就够了
人工智能前沿讲习班
34+阅读 · 2018年12月30日
变分自编码器VAE:一步到位的聚类方案
PaperWeekly
25+阅读 · 2018年9月18日
在TensorFlow中对比两大生成模型:VAE与GAN
机器之心
12+阅读 · 2017年10月23日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 2月11日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员