In this paper we study consensus-based optimization (CBO), which is a multi-agent metaheuristic derivative-free optimization method that can globally minimize nonconvex nonsmooth functions and is amenable to theoretical analysis. Based on an experimentally supported intuition that CBO always performs a gradient descent of the squared Euclidean distance to the global minimizer, we derive a novel technique for proving the convergence to the global minimizer in mean-field law for a rich class of objective functions. The result unveils internal mechanisms of CBO that are responsible for the success of the method. In particular, we prove that CBO performs a convexification of a very large class of optimization problems as the number of optimizing agents goes to infinity. Furthermore, we improve prior analyses by requiring minimal assumptions about the initialization of the method and by covering objectives that are merely locally Lipschitz continuous. As a by-product of the analysis, we establish a quantitative nonasymptotic Laplace principle, which may be of independent interest.


翻译:在本文中,我们研究了基于共识的优化(CBO),这是一种多试剂的计量衍生物无源优化方法,可以在全球范围内最大限度地减少非convex非脉冲功能,并且可以进行理论分析。基于实验支持的直觉,即CBO总是会从正方千里德距离梯度下降到全球最小度,我们得出一种新的技术来证明在中位法中与全球最小化器的趋同,以达到一系列丰富的客观功能。结果揭示了CBO中负责该方法成功的内部机制。特别是,我们证明CBO在优化剂数量到无限时,对非常大种类的优化问题进行了解密。此外,我们改进了先前的分析,要求对这种方法的初始化作出最低限度的假设,并涵盖仅是局部Lipschitz持续的目标。作为分析的副产品,我们建立了定量的无源拉比特原则,这可能具有独立的兴趣。

0
下载
关闭预览

相关内容

专知会员服务
52+阅读 · 2020年12月14日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
已删除
将门创投
4+阅读 · 2017年12月5日
Arxiv
5+阅读 · 2018年6月12日
Arxiv
5+阅读 · 2017年12月14日
VIP会员
最新内容
非对称优势:美海军开发低成本反无人机技术
专知会员服务
1+阅读 · 58分钟前
《美战争部小企业创新研究(SBIR)计划》
专知会员服务
3+阅读 · 今天2:48
《军事模拟:将军事条令与目标融入AI智能体》
专知会员服务
5+阅读 · 今天2:43
【NTU博士论文】3D人体动作生成
专知会员服务
5+阅读 · 4月24日
以色列军事技术对美国军力发展的持续性赋能
专知会员服务
8+阅读 · 4月24日
《深度强化学习在兵棋推演中的应用》40页报告
专知会员服务
12+阅读 · 4月24日
《多域作战面临复杂现实》
专知会员服务
9+阅读 · 4月24日
《印度的多域作战:条令与能力发展》报告
专知会员服务
4+阅读 · 4月24日
相关VIP内容
专知会员服务
52+阅读 · 2020年12月14日
相关资讯
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
已删除
将门创投
4+阅读 · 2017年12月5日
Top
微信扫码咨询专知VIP会员