While first-order stationary points (FOSPs) are the traditional targets of non-convex optimization, they often correspond to undesirable strict saddle points. To circumvent this, attention has shifted towards second-order stationary points (SOSPs). In unconstrained settings, finding approximate SOSPs is PLS-complete (Kontogiannis et al.), matching the complexity of finding unconstrained FOSPs (Hollender and Zampetakis). However, the complexity of finding SOSPs in constrained settings remained notoriously unclear and was highlighted as an important open question by both aforementioned works. Under one strict definition, even verifying whether a point is an approximate SOSP is NP-hard (Murty and Kabadi). Under another widely adopted, relaxed definition where non-negative curvature is required only along the null space of the active constraints, the problem lies in TFNP, and algorithms with O(poly(1/epsilon)) running times have been proposed (Lu et al.). In this work, we settle the complexity of constrained SOSP by proving that computing an epsilon-approximate SOSP under the tractable definition is PLS-complete. We demonstrate that our result holds even in the 2D unit square [0,1]^2, and remarkably, even when stationary points are isolated at a distance of Omega(1) from the domain's boundary. Our result establishes a fundamental barrier: unless PLS is a subset of PPAD (implying PLS = CLS), no deterministic, iterative algorithm with an efficient, continuous update rule can exist for finding approximate SOSPs. This contrasts with the constrained first-order counterpart, for which Fearnley et al. showed that finding an approximate KKT point is CLS-complete. Finally, our result yields the first problem defined in a compact domain to be shown PLS-complete beyond the canonical Real-LocalOpt (Daskalakis and Papadimitriou)."


翻译:虽然一阶稳定点(FOSP)是非凸优化的传统目标,但它们往往对应不理想的严格鞍点。为规避这一问题,研究重点已转向二阶稳定点(SOSP)。在无约束设定下,寻找近似SOSP是PLS完全的(Kontogiannis等人),这与寻找无约束FOSP的复杂性相匹配(Hollender和Zampetakis)。然而,约束设定下寻找SOSP的复杂性长期未明,并被上述两篇文献列为重要开放问题。在一种严格定义下,即使验证某点是否为近似SOSP也是NP困难的(Murty和Kabadi)。在另一种被广泛采用的宽松定义下(仅要求在有效约束零空间内具有非负曲率),该问题属于TFNP,且已有时间复杂度为O(poly(1/ε))的算法提出(Lu等人)。本文通过证明在可处理定义下计算ε-近似SOSP是PLS完全的,解决了约束SOSP的复杂性。我们证明即使在二维单位正方形[0,1]^2中,且稳定点与域边界距离为Omega(1)时孤立存在,该结果依然成立。这一结论揭示了根本性障碍:除非PLS是PPAD的子集(这意味着PLS=CLS),否则不存在具有高效连续更新规则的确定性迭代算法来寻找近似SOSP。这与约束一阶情形形成对比——Fearnley等人已证明寻找近似KKT点是CLS完全的。最后,我们的结果首次证明除经典问题Real-LocalOpt(Daskalakis和Papadimitriou)外,存在定义在紧致域上的PLS完全问题。

0
下载
关闭预览

相关内容

【阿姆斯特丹博士论文】带约束学习的优化算法
专知会员服务
20+阅读 · 2025年4月4日
干货书!基于单调算子的大规模凸优化,348页pdf
专知会员服务
50+阅读 · 2022年7月24日
南大《优化方法 (Optimization Methods》课程,推荐!
专知会员服务
80+阅读 · 2022年4月3日
NeurIPS 2021 | 用简单的梯度下降算法逃离鞍点
专知会员服务
24+阅读 · 2021年12月6日
【经典书】凸优化:算法与复杂度,130页pdf
专知会员服务
81+阅读 · 2021年11月16日
专知会员服务
40+阅读 · 2021年5月30日
专知会员服务
44+阅读 · 2020年9月25日
【边缘计算】边缘计算面临的问题
产业智能官
17+阅读 · 2019年5月31日
如何理解模型的过拟合与欠拟合,以及如何解决?
七月在线实验室
12+阅读 · 2019年4月23日
博客 | 机器学习中的数学基础(凸优化)
AI研习社
14+阅读 · 2018年12月16日
Seq2seq强化,Pointer Network简介
机器学习算法与Python学习
15+阅读 · 2018年12月8日
论强化学习的根本缺陷
AI科技评论
11+阅读 · 2018年7月24日
干货|掌握机器学习数学基础之优化[1](重点知识)
机器学习研究会
10+阅读 · 2017年11月19日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
相关主题
最新内容
世界动作模型: 具身AI的下一个前沿
专知会员服务
0+阅读 · 今天12:28
全球十大防空反导系统:列表、射程与用途
专知会员服务
10+阅读 · 今天3:53
相关VIP内容
相关资讯
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员