We analyze the mixing time of Metropolized Hamiltonian Monte Carlo (HMC) with the leapfrog integrator to sample from a distribution on $\mathbb{R}^d$ whose log-density is smooth, has Lipschitz Hessian in Frobenius norm and satisfies isoperimetry. We bound the gradient complexity to reach $ε$ error in total variation distance from a warm start by $\tilde O(d^{1/4}\text{polylog}(1/ε))$ and demonstrate the benefit of choosing the number of leapfrog steps to be larger than 1. To surpass the previous analysis on Metropolis-adjusted Langevin algorithm (MALA) that has $\tilde{O}(d^{1/2}\text{polylog}(1/ε))$ dimension dependency [WSC22], we reveal a key feature in our proof that the joint distribution of the location and velocity variables of the discretization of the continuous HMC dynamics stays approximately invariant. This key feature, when shown via induction over the number of leapfrog steps, enables us to obtain estimates on moments of various quantities that appear in the acceptance rate control of Metropolized HMC. Notably, our analysis does not require log-concavity or independence of the marginals, and only relies on an isoperimetric inequality. To illustrate the relevance of the Lipschitz Hessian in Frobenius norm assumption, several examples that fall into our framework are discussed.


翻译:我们分析了采用蛙跳积分器的 Metropolized Hamiltonian Monte Carlo (HMC) 从 $\mathbb{R}^d$ 上分布采样的混合时间,该分布的对数密度是光滑的,其 Hessian 矩阵在 Frobenius 范数下是 Lipschitz 的,并且满足等周不等式。我们给出了从热启动出发,达到总变差距离 $ε$ 误差所需的梯度计算复杂度上界为 $\tilde O(d^{1/4}\text{polylog}(1/ε))$,并证明了选择蛙跳步数大于 1 的好处。为了超越先前对 Metropolis-adjusted Langevin 算法 (MALA) 的分析(其维度依赖为 $\tilde{O}(d^{1/2}\text{polylog}(1/ε))$ [WSC22]),我们在证明中揭示了一个关键特征:连续 HMC 动力学离散化后的位置变量与速度变量的联合分布保持近似不变。这一关键特征,当通过对蛙跳步数进行归纳来展示时,使我们能够获得出现在 Metropolized HMC 接受率控制中的各种量的矩估计。值得注意的是,我们的分析不要求对数凹性或边际独立性,仅依赖于一个等周不等式。为了说明 Frobenius 范数下 Lipschitz Hessian 假设的相关性,我们讨论了几个符合我们框架的示例。

0
下载
关闭预览

相关内容

【经典书】凸优化理论,MIT-Dimitri P. Bertsekas教授,257页pdf
从动力学角度看优化算法:GAN的第三个阶段
PaperWeekly
11+阅读 · 2019年5月13日
从信息瓶颈理论一瞥机器学习的“大一统理论”
博客 | 机器学习中的数学基础(凸优化)
AI研习社
14+阅读 · 2018年12月16日
不用数学讲清马尔可夫链蒙特卡洛方法?
算法与数学之美
16+阅读 · 2018年8月8日
干货|掌握机器学习数学基础之优化[1](重点知识)
机器学习研究会
10+阅读 · 2017年11月19日
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关VIP内容
【经典书】凸优化理论,MIT-Dimitri P. Bertsekas教授,257页pdf
相关基金
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员