Building upon score-based learning, new interest in stochastic localization techniques has recently emerged. In these models, one seeks to noise a sample from the data distribution through a stochastic process, called observation process, and progressively learns a denoiser associated to this dynamics. Apart from specific applications, the use of stochastic localization for the problem of sampling from an unnormalized target density has not been explored extensively. This work contributes to fill this gap. We consider a general stochastic localization framework and introduce an explicit class of observation processes, associated with flexible denoising schedules. We provide a complete methodology, $\textit{Stochastic Localization via Iterative Posterior Sampling}$ (SLIPS), to obtain approximate samples of this dynamics, and as a by-product, samples from the target distribution. Our scheme is based on a Markov chain Monte Carlo estimation of the denoiser and comes with detailed practical guidelines. We illustrate the benefits and applicability of SLIPS on several benchmarks of multi-modal distributions, including Gaussian mixtures in increasing dimensions, Bayesian logistic regression and a high-dimensional field system from statistical-mechanics.


翻译:基于分数学习,近期对随机定位技术产生了新的研究兴趣。在这些模型中,研究者试图通过一个称为观测过程的随机过程对数据分布中的样本添加噪声,并逐步学习与该动力学相关联的去噪器。除了特定应用外,随机定位在从未归一化目标密度采样问题中的应用尚未得到广泛探索。本研究致力于填补这一空白。我们考虑一个通用的随机定位框架,并引入一类与灵活去噪调度相关联的显式观测过程。我们提出了一套完整的方法论——基于迭代后验采样的随机定位(SLIPS),以获取该动力学的近似样本,并作为副产品得到目标分布的样本。我们的方案基于对去噪器的马尔可夫链蒙特卡洛估计,并提供了详细的实践指南。我们在多个多模态分布基准测试中展示了SLIPS的优势和适用性,包括递增维度的高斯混合模型、贝叶斯逻辑回归以及统计力学中的高维场系统。

0
下载
关闭预览

相关内容

【2023新书】随机模型基础,815页pdf
专知会员服务
105+阅读 · 2023年5月10日
专知会员服务
25+阅读 · 2021年6月8日
专知会员服务
75+阅读 · 2020年12月7日
深度学习时代的目标检测算法
炼数成金订阅号
40+阅读 · 2018年3月19日
绝对干货 | 随机梯度下降算法综述
菜鸟的机器学习
15+阅读 · 2017年10月30日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Arxiv
0+阅读 · 3月17日
VIP会员
最新内容
最新“指挥控制”领域出版物合集(简介)
专知会员服务
2+阅读 · 4月12日
面向军事作战需求开发的人工智能(RAIMOND)
专知会员服务
5+阅读 · 4月12日
远程空中优势:新一代超视距导弹的兴起
专知会员服务
1+阅读 · 4月12日
大语言模型溯因推理的统一分类学与综述
专知会员服务
0+阅读 · 4月12日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员