This paper introduces a novel perspective on the use of reverse diffusion processes for sampling from unnormalized densities. The central idea is to embed the target density as the marginal at the initial time of a suitably constructed diffusion process evolving over a finite horizon. In contrast to existing approaches, the proposed methodology involves neither time discretization error nor score function estimation, so that Monte Carlo variability is the only source of approximation. A key theoretical result characterizes the Radon-Nikodym derivative of the reverse diffusion transition distribution with respect to that of an Ornstein-Uhlenbeck (OU) process. This representation provides a tractable change-of-measure formulation and serves as the foundation for two distinct classes of Monte Carlo algorithms. The first class approximates the reverse transition distribution via a sequence of pseudo-marginal Metropolis-Hastings MCMC algorithms. The resulting scheme produces an approximate i.i.d. sample from the target distribution and is fully parallelizable, as trajectories can be generated independently. The second class consists of MCMC algorithms targeting the joint law of the whole diffusion path in $[0,T]$, for a suitably chosen horizon $T$. The proposed samplers combine three types of updates. One update simulates the diffusion forward in time according to an OU dynamics, conditional on its initial value. The remaining two update the backward component via Metropolis-type steps: one conditions on the terminal value at time $T$ and the other one does not. In both cases, acceptance probabilities are implemented using Barker-type Bernoulli factory constructions. The proposed methods perform well for targets with multimodality and complex dependence structures, providing a scalable and efficient alternative to the widely used random-walk Metropolis algorithm.


翻译:本文提出了一种利用反向扩散过程从非归一化密度中进行采样的新视角。其核心思想是将目标密度嵌入为在有限时域上演化的适当构造的扩散过程在初始时刻的边际分布。与现有方法不同,所提方法既不引入时间离散误差,也无需估计得分函数,因此蒙特卡洛变异性是唯一的近似来源。一项关键理论结果刻画了反向扩散转移分布相对于奥恩斯坦-乌伦贝克(OU)过程的拉东-尼科迪姆导数。该表示提供了一种可处理的测度变换公式,并作为两类不同蒙特卡洛算法的基础。第一类算法通过一系列伪边际Metropolis-Hastings MCMC算法近似反向转移分布。该方案可生成目标分布的近似独立同分布样本,且完全可并行化——因为轨迹可独立生成。第二类算法由针对$[0,T]$(其中$T$为适当选择的时域)内整个扩散路径联合分布的MCMC算法构成。所提采样器结合了三种更新类型:一种根据OU动力学沿时间正向模拟扩散过程(以初始值为条件);其余两种通过Metropolis型步骤更新反向分量——一种以$T$时刻的终值为条件,另一种则无此条件。两种情况下,接受概率均采用Barker型伯努利工厂结构实现。所提方法在处理具有多模态和复杂依赖结构的目标分布时表现优异,为广泛使用的随机游走Metropolis算法提供了可扩展且高效的替代方案。

0
下载
关闭预览

相关内容

在数学和计算机科学之中,算法(Algorithm)为一个计算的具体步骤,常用于计算、数据处理和自动推理。精确而言,算法是一个表示为有限长列表的有效方法。算法应包含清晰定义的指令用于计算函数。 来自维基百科: 算法
最新《扩散模型原理》新书,470页pdf
专知会员服务
73+阅读 · 2025年10月30日
《扩散模型及其应用》最新综述
专知会员服务
50+阅读 · 2024年8月21日
视觉的有效扩散模型综述
专知会员服务
97+阅读 · 2022年10月20日
一文搞懂反向传播
机器学习与推荐算法
18+阅读 · 2020年3月12日
迁移自适应学习最新综述,附21页论文下载
数据分析师应该知道的16种回归方法:负二项回归
数萃大数据
74+阅读 · 2018年9月16日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 5月5日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
3+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
6+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
3+阅读 · 6月17日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员