It is a folklore belief in the theory of spin glasses and disordered systems that out-of-equilibrium dynamics fail to find stable local optima exhibiting e.g. local strict convexity on physical time-scales. In the context of the Sherrington--Kirkpatrick spin glass, Behrens-Arpino-Kivva-Zdeborová and Minzer-Sah-Sawhney have recently conjectured that this obstruction may be inherent to all efficient algorithms, despite the existence of exponentially many such optima throughout the landscape. We prove this search problem exhibits strong low degree hardness for polynomial algorithms of degree $D\leq o(N)$: any such algorithm has probability $o(1)$ to output a stable local optimum. To the best of our knowledge, this is the first result to prove that even constant-degree polynomials have probability $o(1)$ to solve a random search problem without planted structure. To prove this, we develop a general-purpose enhancement of the ensemble overlap gap property, and as a byproduct improve previous results on spin glass optimization, maximum independent set, random $k$-SAT, and the Ising perceptron to strong low degree hardness. Finally for spherical spin glasses with no external field, we prove that Langevin dynamics does not find stable local optima within dimension-free time.


翻译:自旋玻璃及无序系统理论中有一个民间信念:非平衡动力学无法在物理时间尺度内找到具有局部严格凸性等特征的稳定局部最优。在谢林顿-柯克帕特里克自旋玻璃的背景下,贝伦斯-阿皮诺-基瓦-兹德博罗娃以及明策-萨-索尼等人近期猜想,尽管景观中存在指数级数量的此类最优解,但这一障碍可能对所有高效算法都具有内在性。我们证明,对于次数$D\leq o(N)$的多项式算法,该搜索问题表现出强低度困难性:任何此类算法输出稳定局部最优的概率为$o(1)$。据我们所知,这是首个证明即使常数次多项式求解无种植结构随机搜索问题的概率也为$o(1)$的结果。为此,我们开发了系综重叠间隙性质的一种通用增强方法,并由此将自旋玻璃优化、最大独立集、随机$k$-SAT及伊辛感知器的先前结果改进为强低度困难性。最后,对于无外场的球面自旋玻璃,我们证明朗之万动力学无法在无维数限制的时间内找到稳定局部最优。

0
下载
关闭预览

相关内容

最新《 深度学习时代的低光图像增强》综述论文,
专知会员服务
38+阅读 · 2021年4月30日
【干货书】凸随机优化,320页pdf
专知
12+阅读 · 2022年9月16日
王彬文:数字孪生的强度思考与实践(附PPT)
走向智能论坛
21+阅读 · 2019年3月21日
从最优化的角度看待 Softmax 损失函数
极市平台
31+阅读 · 2019年2月21日
learn to see in the dark-低照度图像增强算法
计算机视觉life
16+阅读 · 2019年1月14日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Arxiv
0+阅读 · 5月14日
Arxiv
0+阅读 · 5月10日
Arxiv
0+阅读 · 3月28日
VIP会员
最新内容
人工智能赋能战场情报:提速决策进程
专知会员服务
0+阅读 · 14分钟前
《拥抱新兴技术:面向未来军官的教育革新》
专知会员服务
0+阅读 · 18分钟前
《无人地面战车(UGV)的崛起》报告
专知会员服务
7+阅读 · 7月16日
美陆军任务式指挥人工智能解决方案
专知会员服务
11+阅读 · 7月16日
相关VIP内容
最新《 深度学习时代的低光图像增强》综述论文,
专知会员服务
38+阅读 · 2021年4月30日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员