The No Free Lunch (NFL) theorem guarantees equal average performance only under uniform sampling of a function space closed under permutation (c.u.p.). We ask when this averaging ceases to reflect what benchmarking actually reports. We study an iterative-search setting with sampling without replacement, where algorithms differ only in evaluation order. Binary objectives allow exhaustive evaluation in the fully enumerable case, and efficiency is defined by the first time the global minimum is reached. We then construct two additional benchmarks by algebraically recombining the same baseline functions through sums and differences. Function-algorithm relations are examined via correlation structure, hierarchical clustering, delta heatmaps, and PCA. A one-way ANOVA with Tukey contrasts confirms that algebraic reformulations induce statistically meaningful shifts in performance patterns. The uniformly sampled baseline remains consistent with the global NFL symmetry. In contrast, the algebraically modified benchmarks yield stable re-rankings and coherent clusters of functions and sampling policies. Composite objectives can also exhibit non-additive search effort despite being built from simpler components. Monte Carlo experiments indicate that order effects persist in larger spaces and depend on function class. Taken together, the results show how objective reformulation and benchmark design can generate structured local departures from NFL intuition. They motivate algorithm choice that is aware of both the problem class and the objective representation. This message applies to evolutionary computation as well as to statistical procedures based on relabeling, resampling, and permutation tests.


翻译:无免费午餐定理仅保证在满足排列封闭性条件下均匀采样函数空间时,算法具有相等的平均性能。本文探究这种平均性何时不再反映基准测试的实际报告结果。我们在无放回采样的迭代搜索框架中展开研究,其中算法仅通过评估顺序进行区分。在完全可枚举场景下,二元目标函数允许进行穷举评估,而算法效率由首次达到全局最小值的时间定义。随后,我们通过代数求和与差分运算对相同基准函数进行重组,构建了两个附加基准测试集。通过相关性结构分析、层次聚类、增量热力图和主成分分析等方法,我们深入研究了函数与算法间的关联关系。单因素方差分析配合Tukey事后检验证实:代数重构会引发具有统计显著性的性能模式偏移。均匀采样的基准集仍符合全局无免费午餐对称性,而代数修改后的基准测试集则产生了稳定的算法重排序结果,并形成了函数与采样策略的连贯聚类簇。尽管复合目标函数由简单组件构建而成,其搜索过程仍可能表现出非加性特征。蒙特卡洛实验表明,顺序效应在更大规模的搜索空间中持续存在,且其表现依赖于函数类别。综合来看,本研究揭示了目标函数重构与基准测试设计如何引发结构化局部偏差,从而突破无免费午餐定理的直觉认知。这启示我们应结合问题类别与目标表示形式进行算法选择。该结论不仅适用于进化计算领域,同样适用于基于重标记、重采样及置换检验的统计流程。

0
下载
关闭预览

相关内容

【匹兹堡大学博士论文】数据限制下的因果推理,147页pdf
异常检测(Anomaly Detection)综述
极市平台
20+阅读 · 2020年10月24日
如果你研究多因子模型,这篇文章看不懂就别玩了!
量化投资与机器学习
26+阅读 · 2018年7月31日
【干货】监督学习与无监督学习简介
专知
14+阅读 · 2018年4月4日
关于处理样本不平衡问题的Trick整理
机器学习算法与Python学习
14+阅读 · 2017年12月3日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 2月9日
VIP会员
最新内容
面向国防作战的最佳自主与蜂群无人机技术
专知会员服务
3+阅读 · 今天8:04
《异构人类团队的协作决策过程混合建模研究》
专知会员服务
4+阅读 · 今天7:59
博士论文 | 面向大模型推理的内存高效算法
专知会员服务
4+阅读 · 7月27日
美空军新型反无人机部队初探
专知会员服务
7+阅读 · 7月27日
《防空交战流程的概率建模研究》
专知会员服务
11+阅读 · 7月27日
ICML 2026 教程 | 数值优化理论还重要吗?
专知会员服务
7+阅读 · 7月26日
ICM 2026 | 陶哲轩:人工智能时代的数学
专知会员服务
10+阅读 · 7月26日
相关VIP内容
【匹兹堡大学博士论文】数据限制下的因果推理,147页pdf
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员