In this paper, we study the numerical discretization of stochastic differential equations with locally Lipschitz, super-linearly growing drift, and the resulting implications for sampling from non-log-concave distributions satisfying a logarithmic Sobolev inequality. In this regime, the classical Euler--Maruyama scheme underlying the unadjusted Langevin algorithm (ULA) is known to be unstable. We analyze the KL-accelerated tamed unadjusted Langevin algorithm (kTULA) and introduce a new tamed randomized midpoint scheme, termed tRLMC. Building on the shifted-composition approach of \cite{chewi2024local}, we develop two new local-error frameworks that yield finite-time, non-asymptotic error estimates against the underlying SDE -- in KL divergence for kTULA, and in total variation for tRLMC -- valid for general locally Lipschitz drift. Specializing these frameworks to the sampling problem under a logarithmic Sobolev inequality, we obtain a near-optimal $\widetilde{O}(\varepsilon^{-1/2})$ iteration complexity for kTULA in KL divergence, with corresponding guarantees in total variation and Wasserstein distance. We further establish, for the first time, a non-asymptotic guarantee in total variation for a tamed randomized Langevin scheme under super-linear drift growth, together with the corresponding Wasserstein-distance bound, both with $\widetilde{O}(\varepsilon^{-1})$ complexity for tRLMC. As a consequence, both schemes yield non-asymptotic bounds for a non-convex excess-risk optimization problem.


翻译:本文研究具有局部Lipschitz、超线性增长漂移的随机微分方程的数值离散化,及其对满足对数Sobolev不等式的非对数凹分布采样的影响。在此框架下,经典Euler-Maruyama格式(作为非调整Langevin算法ULA的基础)已知是不稳定的。我们分析了KL加速的驯服非调整Langevin算法(kTULA),并引入了一种新的驯服随机化中点格式,称为tRLMC。基于\cite{chewi2024local}的移位组合方法,我们发展了两个新的局部误差框架,针对一般局部Lipschitz漂移,分别在kTULA的KL散度和tRLMC的总变差范数下,得到关于底层SDE的有限时间非渐近误差估计。将这些框架专门应用于对数Sobolev不等式下的采样问题,我们获得了kTULA在KL散度下的近最优$\widetilde{O}(\varepsilon^{-1/2})$迭代复杂度,以及对应的总变差和Wasserstein距离保证。此外,我们首次建立了超线性漂移增长下驯服随机化Langevin格式在总变差下的非渐近保证,同时给出了相应的Wasserstein距离界,tRLMC的复杂度均为$\widetilde{O}(\varepsilon^{-1})$。作为推论,两种格式均对非凸超额风险优化问题给出了非渐近界。

0
下载
关闭预览

相关内容

【干货书】凸随机优化,320页pdf
专知会员服务
94+阅读 · 2022年9月16日
【干货书】凸随机优化,320页pdf
专知
12+阅读 · 2022年9月16日
从泰勒展开来看梯度下降算法
深度学习每日摘要
13+阅读 · 2019年4月9日
干货|掌握机器学习数学基础之优化[1](重点知识)
机器学习研究会
10+阅读 · 2017年11月19日
精品公开课 | 随机梯度下降算法综述
七月在线实验室
13+阅读 · 2017年7月11日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
6+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
7+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
4+阅读 · 6月17日
相关资讯
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员