Evolutionary algorithms serve as a powerful paradigm for tackling optimization challenges, yet their reliance on manually engineered heuristics inherently limits their adaptability across diverse landscapes. However, the transition from the hand-crafted heuristics to data-driven algorithms faces a fundamental dilemma: achieving neural \emph{plasticity} without sacrificing algorithmic stability. Although learned optimizers offer high adaptivity, their unconstrained update rules often result in unstable dynamics and brittle generalization on unseen landscapes. To address this challenge, this paper proposes Learning to Evolve (L2E), a bilevel meta-optimization framework that learns evolutionary search via stability-inducing neural unrolling. First, L2E reformulates population evolution as an unrolled fixed-point iteration via a structured neural operator. In this design, the inner loop imposes a stability-biased update structure, while the outer loop meta-trains the operator to produce effective search trajectories across tasks. Second, to balance global exploration with local refinement, a gradient-derived composite solver adaptively fuses learned evolutionary proposals with proxy numerical guidance in a differentiable manner. Extensive experiments on synthetic benchmarks and real-world control tasks demonstrate that L2E achieves substantial optimization performance, scales to high-dimensional problems, and exhibits robust zero-shot transfer across diverse test distributions.


翻译:进化算法是解决优化挑战的有力范式,但其对人工设计启发式规则的依赖本质上限制了其在多样化问题场景中的适应性。然而,从手工启发式规则向数据驱动算法的转变面临一个根本困境:如何在保持算法稳定性的同时实现神经可塑性。尽管学习型优化器具有高适应性,但其无约束的更新规则往往导致动态不稳定,并在未见问题场景上表现出脆弱的泛化能力。为应对这一挑战,本文提出学习进化(L2E)——一种通过稳定性诱导神经展开学习进化搜索的双层元优化框架。首先,L2E通过结构化神经算子将种群进化重构为展开式定点迭代。在此设计中,内层循环施加偏向稳定性的更新结构,而外层循环则通过元训练使算子能够在不同任务中生成有效的搜索轨迹。其次,为平衡全局探索与局部优化,我们提出基于梯度的复合求解器,以可微分方式自适应融合学习到的进化方案与代理数值指导。在合成基准测试和实际控制任务上的大量实验表明,L2E实现了显著的优化性能,可扩展至高维问题,并在多样化测试分布上展现出强大的零样本迁移能力。

0
下载
关闭预览

相关内容

【ETZH博士论文】神经网络中的元学习与组合泛化
【新书】神经进化:释放 AI 智能体设计的创造力, 484页pdf
专知会员服务
41+阅读 · 2025年11月23日
【博士论文】神经网络中的元学习与组合泛化
专知会员服务
20+阅读 · 2025年8月27日
专知会员服务
62+阅读 · 2021年6月1日
专知会员服务
40+阅读 · 2021年3月3日
可解释强化学习,Explainable Reinforcement Learning: A Survey
专知会员服务
132+阅读 · 2020年5月14日
机器学习中的最优化算法总结
人工智能前沿讲习班
22+阅读 · 2019年3月22日
迁移学习在深度学习中的应用
专知
24+阅读 · 2017年12月24日
【强化学习】如何开启强化学习的大门?
产业智能官
13+阅读 · 2017年9月10日
【强化学习】强化学习+深度学习=人工智能
产业智能官
55+阅读 · 2017年8月11日
从浅层模型到深度模型:概览机器学习优化算法
机器之心
27+阅读 · 2017年7月9日
国家自然科学基金
0+阅读 · 2016年12月31日
国家自然科学基金
43+阅读 · 2015年12月31日
国家自然科学基金
17+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2013年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
国家自然科学基金
23+阅读 · 2009年12月31日
国家自然科学基金
48+阅读 · 2009年12月31日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2016年12月31日
国家自然科学基金
43+阅读 · 2015年12月31日
国家自然科学基金
17+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2013年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
国家自然科学基金
23+阅读 · 2009年12月31日
国家自然科学基金
48+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员