Covariance matrix adaptation evolution strategy (CMA-ES) is a state-of-the-art black-box optimization algorithm. In general, CMA-ES uses a portfolio of multiple stopping criteria to automatically determine when to stop the search. This mechanism aims to avoid unnecessary consumption of the function evaluation budget during stagnation. Stopping criteria play an important role in CMA-ES, particularly when restart strategies are employed. However, the effectiveness of stopping criteria in CMA-ES remains poorly understood. To address this issue, this paper investigates how the 11 stopping criteria in CMA-ES behave on the noiseless BBOB function set. The performance of the stopping criteria is quantitatively evaluated based on the optimal stopping point in terms of the number of function evaluations in a single run of CMA-ES. Our results show that, although which stopping criterion is triggered first depends significantly on the sample size $λ$ and the dimension $n$, \texttt{tolflatfitness} and \texttt{tolfun} are frequently the first criteria to be triggered among the portfolio of 11 stopping criteria. We also demonstrate that \texttt{tolfunhist} and the portfolio achieve the highest stopping accuracy in most cases. In addition, our results show that the \texttt{tolfun} and \texttt{tolfunhist} criteria are frequently triggered before CMA-ES reaches complete stagnation.


翻译:协方差矩阵自适应进化策略(CMA-ES)是一种最先进的黑箱优化算法。通常情况下,CMA-ES使用一组多个停止准则来自动决定何时停止搜索。该机制旨在避免在停滞阶段产生不必要的函数评估预算消耗。停止准则在CMA-ES中扮演重要角色,尤其是在采用重启策略时。然而,CMA-ES中停止准则的有效性仍鲜有认知。为解决此问题,本文研究了CMA-ES中11种停止准则在无噪声BBOB函数集上的行为表现。基于单次CMA-ES运行中函数评估次数的最优停止点,对停止准则的性能进行了定量评估。结果表明,尽管各停止准则的触发顺序显著依赖于样本规模λ和维度n,但在11种停止准则组合中,tolflatfitness和tolfun常被最先触发。我们还证明,在多数情况下tolfunhist与准则组合能达到最高的停止精度。此外,研究结果显示,tolfun和tolfunhist准则常在CMA-ES完全停滞之前就被触发。

0
下载
关闭预览

相关内容

NAACL 2019 | 一种考虑缓和KL消失的简单VAE训练方法
PaperWeekly
20+阅读 · 2019年4月24日
基于python的开源量化交易,量化投资架构
运维帮
15+阅读 · 2018年7月5日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
VIP会员
最新内容
非对称防御中的自组织临界性:俄乌战争
专知会员服务
1+阅读 · 今天14:36
《战争中的大语言模型监管》
专知会员服务
2+阅读 · 今天14:26
边缘计算的军事应用
专知会员服务
8+阅读 · 8月9日
一种考虑资源机动性的武器目标分配混合算法
专知会员服务
9+阅读 · 8月8日
相关VIP内容
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员