The mean-field Langevin dynamics (MFLD) minimizes an entropy-regularized nonlinear convex functional on the Wasserstein space over $\mathbb{R}^d$, and has gained attention recently as a model for the gradient descent dynamics of interacting particle systems such as infinite-width two-layer neural networks. However, many problems of interest have constrained domains, which are not solved by existing mean-field algorithms due to the global diffusion term. We study the optimization of probability measures constrained to a convex subset of $\mathbb{R}^d$ by proposing the \emph{mirror mean-field Langevin dynamics} (MMFLD), an extension of MFLD to the mirror Langevin framework. We obtain linear convergence guarantees for the continuous MMFLD via a uniform log-Sobolev inequality, and uniform-in-time propagation of chaos results for its time- and particle-discretized counterpart.


翻译:均场朗之万动力学(MFLD)在 $\mathbb{R}^d$ 上的Wasserstein空间中最小化熵正则化的非线性凸泛函,近期作为交互粒子系统(如无限宽双层神经网络)梯度下降动力学的模型而受到关注。然而,许多感兴趣的问题具有约束域,由于全局扩散项,现有均场算法无法解决此类问题。我们通过提出\emph{镜像均场朗之万动力学}(MMFLD),即MFLD扩展到镜像朗之万框架,研究约束在 $\mathbb{R}^d$ 凸子集上的概率测度优化问题。利用一致对数Sobolev不等式,我们获得了连续MMFLD的线性收敛保证,并证明了其时间和粒子离散化版本的一致时间传播混沌结果。

0
下载
关闭预览

相关内容

在数学中,定义在n维区间上的实值函数,如果函数的图上任意两点之间的线段位于图上,称为凸函数。同样地,如果函数图上或上面的点集是凸集,则函数是凸的。
【新书】动力系统的收缩理论,258页pdf
专知会员服务
26+阅读 · 2024年11月22日
【经典书】凸优化理论,MIT-Dimitri P. Bertsekas教授,257页pdf
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
2+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
6+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
3+阅读 · 6月17日
相关VIP内容
【新书】动力系统的收缩理论,258页pdf
专知会员服务
26+阅读 · 2024年11月22日
【经典书】凸优化理论,MIT-Dimitri P. Bertsekas教授,257页pdf
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员