Given a target Gibbs distribution $\pi^0_{\beta} \propto e^{-\beta \mathcal{H}}$ to sample from in the low-temperature regime on $\Sigma_N := \{-1,+1\}^N$, in this paper we propose and analyze Metropolis dynamics that instead target an alternative distribution $\pi^{f}_{\alpha,c,1/\beta} \propto e^{-\mathcal{H}^{f}_{\alpha,c,1/\beta}}$, where $\mathcal{H}^{f}_{\alpha,c,1/\beta}$ is a transformed Hamiltonian whose landscape is suitably modified and controlled by the parameters $f,\alpha,c$ and $\beta$ and shares the same set of stationary points as $\mathcal{H}$. With appropriate tuning of these parameters, the major advantage of the proposed Metropolis dynamics on the modified landscape is that it enjoys an $\mathcal{O}(1)$ critical height while its stationary distribution $\pi^{f}_{\alpha,c,1/\beta}$ maintains close proximity with the original target $\pi^0_{\beta}$ in the low-temperature. We prove rapid mixing and tunneling on the modified landscape with polynomial dependence on the system size $N$ and the inverse temperature $\beta$, while the original Metropolis dynamics mixes torpidly with exponential dependence on the critical height and $\beta$. In the setting of simulated annealing, we prove its long-time convergence under a power-law cooling schedule that is faster than the typical logarithmic cooling in the classical setup. We illustrate our results on a host of models including the Ising model on various deterministic and random graphs as well as Derrida's Random Energy Model. In these applications, the original dynamics mixes torpidly while the proposed dynamics on the modified landscape mixes rapidly with polynomial dependence on both $\beta$ and $N$ and find the approximate ground state provably in $\mathcal{O}(N^4)$ time. This paper highlights a novel use of the geometry and structure of the landscape to the design of accelerated samplers or optimizers.


翻译:根据 Gibbs 分布 $\ pisqual_0\\\\\ beta}\ popto e\\\\\\\\\\\ ateral_ arral_\\\\\ a\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\ arral_\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\

0
下载
关闭预览

相关内容

不可错过!700+ppt《因果推理》课程!杜克大学Fan Li教程
专知会员服务
72+阅读 · 2022年7月11日
不可错过!《机器学习100讲》课程,UBC Mark Schmidt讲授
专知会员服务
76+阅读 · 2022年6月28日
Linux导论,Introduction to Linux,96页ppt
专知会员服务
82+阅读 · 2020年7月26日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
163+阅读 · 2019年10月12日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
41+阅读 · 2019年10月9日
【ICIG2021】Check out the hot new trailer of ICIG2021 Symposium1
中国图象图形学学会CSIG
0+阅读 · 2021年11月3日
【ICIG2021】Latest News & Announcements of the Industry Talk1
中国图象图形学学会CSIG
0+阅读 · 2021年7月28日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
Arxiv
0+阅读 · 2022年10月6日
VIP会员
相关VIP内容
不可错过!700+ppt《因果推理》课程!杜克大学Fan Li教程
专知会员服务
72+阅读 · 2022年7月11日
不可错过!《机器学习100讲》课程,UBC Mark Schmidt讲授
专知会员服务
76+阅读 · 2022年6月28日
Linux导论,Introduction to Linux,96页ppt
专知会员服务
82+阅读 · 2020年7月26日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
163+阅读 · 2019年10月12日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
41+阅读 · 2019年10月9日
相关资讯
【ICIG2021】Check out the hot new trailer of ICIG2021 Symposium1
中国图象图形学学会CSIG
0+阅读 · 2021年11月3日
【ICIG2021】Latest News & Announcements of the Industry Talk1
中国图象图形学学会CSIG
0+阅读 · 2021年7月28日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
Top
微信扫码咨询专知VIP会员