It was previously shown by Davis and Drusvyatskiy that every Clarke critical point of a generic, semialgebraic (and more generally definable in an o-minimal structure), weakly convex function is lying on an active manifold and is either a local minimum or an active strict saddle. In the first part of this work, we show that when the weak convexity assumption fails a third type of point appears: a sharply repulsive critical point. Moreover, we show that the corresponding active manifolds satisfy the Verdier and the angle conditions which were introduced by us in our previous work. In the second part of this work, we show that, under a density-like assumption on the perturbation sequence, the stochastic subgradient descent (SGD) avoids sharply repulsive critical points with probability one. We show that such a density-like assumption could be obtained upon adding a small random perturbation (e.g. a nondegenerate Gaussian) at each iteration of the algorithm. These results, combined with our previous work on the avoidance of active strict saddles, show that the SGD on a generic definable (e.g. semialgebraic) function converges to a local minimum.


翻译:Davis和Drusvyatskiy曾指出,一个通用的、半成形的(而且更一般地在微微结构中可定义的)微软锥形函数的每个克拉克临界点都位于一个活跃的元件上,它或是一个局部的最低限度,或是一个活跃的严格马鞍。在这项工作的第一部分,我们表明,当薄弱的凝固性假设未能达到第三类点时,就会出现一个明显令人厌恶的临界点。此外,我们还表明,相应的活性元体满足了我们先前工作中引入的Verdier和角度条件。在这项工作的第二部分,我们表明,在对扰动序列进行一个类似密度的假设时,在静态的次梯位下降(SGD)避免了剧烈的令人厌恶的临界点,而概率为1。我们表明,在每次迭代算法中添加一个小的随机扰动(例如,一个不退化的高斯)时,可以得出这种密度相似的假设。这些结果,加上我们先前关于避免积极严格马鞍的工作,将显示,SGDGD在最小的局部定义上显示,SGGDGDGD可达到一个可达到一个最小的最小的当地。

0
下载
关闭预览

相关内容

【Google-Marco Cuturi】最优传输,339页ppt,Optimal Transport
专知会员服务
49+阅读 · 2021年10月26日
专知会员服务
16+阅读 · 2021年5月21日
2019年机器学习框架回顾
专知会员服务
36+阅读 · 2019年10月11日
已删除
将门创投
4+阅读 · 2019年4月1日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Arxiv
0+阅读 · 2021年11月25日
Arxiv
0+阅读 · 2021年11月25日
VIP会员
最新内容
非对称优势:美海军开发低成本反无人机技术
专知会员服务
4+阅读 · 今天4:39
《美战争部小企业创新研究(SBIR)计划》
专知会员服务
5+阅读 · 今天2:48
《军事模拟:将军事条令与目标融入AI智能体》
专知会员服务
8+阅读 · 今天2:43
【NTU博士论文】3D人体动作生成
专知会员服务
6+阅读 · 4月24日
以色列军事技术对美国军力发展的持续性赋能
专知会员服务
8+阅读 · 4月24日
《深度强化学习在兵棋推演中的应用》40页报告
专知会员服务
13+阅读 · 4月24日
《多域作战面临复杂现实》
专知会员服务
9+阅读 · 4月24日
《印度的多域作战:条令与能力发展》报告
专知会员服务
4+阅读 · 4月24日
相关资讯
已删除
将门创投
4+阅读 · 2019年4月1日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Top
微信扫码咨询专知VIP会员