Langevin sampling from distributions of the form $p(x) \propto \exp(-Ψ(x))$ faces two major challenges: (global) mode coverage and (local) mode exploration. The first challenge is particularly relevant for multi-modal distributions with disjoint modes, whereas the second arises when the potential $Ψ$ exhibits diverse and ill-conditioned local mode geometry. To address these challenges, a common approach is to precondition Langevin dynamics with problem-specific information, such as the sample covariance or the local curvature of $Ψ$. However, existing preconditioner choices inherently involve a trade-off between global mode coverage and local mode exploration, and no prior method resolves both simultaneously. To overcome this limitation, we propose the TIPreL, which introduces a time- and position-dependent preconditioner. This design effectively addresses both challenges mentioned above within a single framework. We establish convergence of the resulting dynamics in the Wasserstein-2 distance both in continuous time and for a tamed Euler discretization. In particular, our analysis extends the existing state of the art by proving convergence under time- and space-dependent diffusion coefficients, and only locally Lipschitz drifts, which has not been covered by prior work. Finally, we experimentally compare TIPreL with competing preconditioning schemes on a two-dimensional, severely ill-posed example and on a Bayesian logistic regression task in higher dimensions, confirming the efficiency of the proposed method.


翻译:摘要:从形如 $p(x) \propto \exp(-Ψ(x))$ 的分布中进行朗之万采样面临两大挑战:(全局)模式覆盖与(局部)模式探索。前者对于具有不相连模式的 multimodal 分布尤为重要,而后者在势函数 $Ψ$ 表现出多样且病态局部模式几何时出现。为应对这些挑战,常见做法是用问题特定信息(如样本协方差或 $Ψ$ 的局部曲率)对朗之万动力学进行预条件处理。然而,现有预条件子选择本质上需要在全局模式覆盖与局部模式探索之间权衡,且此前无方法能同时解决两者。为突破此限制,我们提出 TIPreL,其引入一个时间与位置相关的预条件子。该设计在单一框架内有效应对上述两大挑战。我们证明了所得动力学在 Wasserstein-2 距离下的收敛性,涵盖连续时间与驯服欧拉离散化。特别地,我们的分析通过证明在时间与空间依赖扩散系数及仅局部 Lipschitz 漂移项(此为前人工作未覆盖)下的收敛性,扩展了现有研究前沿。最后,我们在一个二维严重病态示例及一个高维贝叶斯逻辑回归任务上,将 TIPreL 与竞争性预条件方案进行实验对比,证实了所提方法的效率。

0
下载
关闭预览

相关内容

索邦大学121页博士论文《时间序列中的无监督异常检测》
专知会员服务
104+阅读 · 2022年7月25日
港中文等最新《多模态元学习》综述论文
专知会员服务
124+阅读 · 2021年10月8日
深度多模态表示学习综述论文,22页pdf
专知
33+阅读 · 2020年6月21日
回归预测&时间序列预测
GBASE数据工程部数据团队
44+阅读 · 2017年5月17日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 5月18日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
6+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
7+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
4+阅读 · 6月17日
相关VIP内容
索邦大学121页博士论文《时间序列中的无监督异常检测》
专知会员服务
104+阅读 · 2022年7月25日
港中文等最新《多模态元学习》综述论文
专知会员服务
124+阅读 · 2021年10月8日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员