基于最近关于非凸优化算法在训练深度神经网络和数据分析中的其他优化问题中的应用，我们对非凸优化算法全局性能保证的最新理论成果进行了综述。我们从经典的论证开始，证明一般的非凸问题不可能在合理的时间内得到有效的解决。然后，我们给出了一个可以通过尽可能多地利用问题的结构来寻找全局最优解的问题列表。处理非凸性的另一种方法是将寻找全局最小值的目标放宽到寻找一个平稳点或局部最小值。对于这种设置，我们首先给出确定性一阶方法收敛速度的已知结果，然后是最优随机和随机梯度格式的一般理论分析，以及随机一阶方法的概述。然后，我们讨论了相当一般的一类非凸问题，如α-弱拟凸函数的极小化和满足Polyak- Lojasiewicz条件的函数，这些函数仍然可以得到一阶方法的理论收敛保证。然后我们考虑非凸优化问题的高阶、零阶/无导数方法及其收敛速度。

专知便捷查看

便捷下载，请关注专知公众号（点击上方蓝色专知关注）

• 后台回复“NCO” 可以获取《最新《非凸优化理论》进展书册，79页pdf》专知下载链接索引

专知，专业可信的人工智能知识分发，让认知协作更快更好！欢迎注册登录专知www.zhuanzhi.ai，获取5000+AI主题干货知识资料！

欢迎微信扫一扫加入专知人工智能知识星球群，获取最新AI专业干货知识教程资料和与专家交流咨询！

点击“ 阅读原文 ”，了解使用 专知 ，查看获取5000+AI主题知识资源