In this paper, we propose a general methodology for sampling from un-normalized densities defined on Riemannian manifolds, with a particular focus on multi-modal targets that remain challenging for existing sampling methods. Inspired by the framework of diffusion models developed for generative modeling, we introduce a sampling algorithm based on the simulation of a non-equilibrium deterministic dynamics that transports an easy-to-sample noise distribution toward the target. At the marginal level, the induced density path follows a prescribed stochastic interpolant between the noise and target distributions, specifically constructed to respect the underlying Riemannian geometry. In contrast to related generative modeling approaches that rely on machine learning, our method is entirely training-free. It instead builds on iterative posterior sampling procedures using only standard Monte Carlo techniques, thereby extending recent diffusion-based sampling methodologies beyond the Euclidean setting. We complement our approach with a rigorous theoretical analysis and demonstrate its effectiveness on a range of multi-modal sampling problems, including high-dimensional and heavy-tailed examples.


翻译:本文提出了一种从定义在黎曼流形上的非归一化密度中采样的通用方法,尤其针对现有采样方法仍具挑战性的多模态目标分布。受生成建模中扩散模型框架的启发,我们引入了一种基于非平衡确定性动力学模拟的采样算法,该动力学将易于采样的噪声分布向目标分布传输。在边缘层面,诱导的密度路径遵循噪声分布与目标分布之间预设的随机插值,该插值经专门构建以尊重底层的黎曼几何结构。与依赖机器学习的相关生成建模方法不同,我们的方法完全无需训练。它基于仅使用标准蒙特卡罗技术的迭代后验采样程序,从而将近期基于扩散的采样方法推广至欧几里得空间之外的情形。我们通过严格的理论分析完善了该方法,并在包括高维和重尾示例在内的一系列多模态采样问题上验证了其有效性。

0
下载
关闭预览

相关内容

【NeurIPS2022】黎曼扩散模型
专知会员服务
43+阅读 · 2022年9月15日
【CVPR2021】跨模态检索的概率嵌入
专知
17+阅读 · 2021年3月2日
赛尔笔记 | 多模态信息抽取简述
专知
29+阅读 · 2020年4月12日
【工大SCIR笔记】多模态信息抽取简述
深度学习自然语言处理
19+阅读 · 2020年4月3日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 2月8日
VIP会员
相关VIP内容
【NeurIPS2022】黎曼扩散模型
专知会员服务
43+阅读 · 2022年9月15日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员