Laplace-type results characterize the limit of sequence of measures $(\pi_\varepsilon)_{\varepsilon >0}$ with density w.r.t the Lebesgue measure $(\mathrm{d} \pi_\varepsilon / \mathrm{d} \mathrm{Leb})(x) \propto \exp[-U(x)/\varepsilon]$ when the temperature $\varepsilon>0$ converges to $0$. If a limiting distribution $\pi_0$ exists, it concentrates on the minimizers of the potential $U$. Classical results require the invertibility of the Hessian of $U$ in order to establish such asymptotics. In this work, we study the particular case of norm-like potentials $U$ and establish quantitative bounds between $\pi_\varepsilon$ and $\pi_0$ w.r.t. the Wasserstein distance of order $1$ under an invertibility condition of a generalized Jacobian. One key element of our proof is the use of geometric measure theory tools such as the coarea formula. We apply our results to the study of maximum entropy models (microcanonical/macrocanonical distributions) and to the convergence of the iterates of the Stochastic Gradient Langevin Dynamics (SGLD) algorithm at low temperatures for non-convex minimization.


翻译:Laplace 类型结果的特征是,当温度(pizävarepsilon) = varepsilon>0美元接近于 $美元时, 度量序列的限度值为 $( pipävarepsilon) = 0 美元。 如果存在限制分配 $\ pi_0美元, 则集中在潜在值的最小值上。 典型结果要求赫斯格对美元不可逆性, 以建立这样的设置。 在这项工作中, 我们研究类似于标准的可能性[U(x) /\ varepsilon] 的具体案例, 并在 $\ varepsilon > 0美元接近于 $.r. t。 如果存在限制分配 $\ pi_0 美元, 则集中在最小值的值分配值上, 将潜在值的美元 。 典型结果要求赫斯堪称的赫斯堪比值为美元, 用于 普遍化的 SG 模型的精确度 。

0
下载
关闭预览

相关内容

【2021新书】高阶网络,150页pdf,Higher-Order Networks
专知会员服务
90+阅读 · 2021年11月26日
专知会员服务
45+阅读 · 2020年12月18日
专知会员服务
52+阅读 · 2020年12月14日
【干货书】机器学习速查手册,135页pdf
专知会员服务
127+阅读 · 2020年11月20日
已删除
将门创投
3+阅读 · 2019年1月29日
Arxiv
0+阅读 · 2021年12月21日
Arxiv
0+阅读 · 2021年12月17日
VIP会员
最新内容
2025年大语言模型进展报告
专知会员服务
10+阅读 · 4月25日
多智能体协作机制
专知会员服务
10+阅读 · 4月25日
非对称优势:美海军开发低成本反无人机技术
专知会员服务
9+阅读 · 4月25日
《美战争部小企业创新研究(SBIR)计划》
专知会员服务
8+阅读 · 4月25日
《军事模拟:将军事条令与目标融入AI智能体》
专知会员服务
12+阅读 · 4月25日
【NTU博士论文】3D人体动作生成
专知会员服务
9+阅读 · 4月24日
以色列军事技术对美国军力发展的持续性赋能
专知会员服务
9+阅读 · 4月24日
《深度强化学习在兵棋推演中的应用》40页报告
专知会员服务
16+阅读 · 4月24日
《多域作战面临复杂现实》
专知会员服务
13+阅读 · 4月24日
《印度的多域作战:条令与能力发展》报告
专知会员服务
6+阅读 · 4月24日
相关资讯
已删除
将门创投
3+阅读 · 2019年1月29日
Top
微信扫码咨询专知VIP会员