Self-evolution methods enhance code generation through iterative "generate-verify-refine" cycles, yet existing approaches suffer from low exploration efficiency, failing to discover solutions with superior complexity within limited budgets. This inefficiency stems from initialization bias trapping evolution in poor solution regions, uncontrolled stochastic operations lacking feedback guidance, and insufficient experience utilization across tasks. To address these bottlenecks, we propose Controlled Self-Evolution (CSE), which consists of three key components. Diversified Planning Initialization generates structurally distinct algorithmic strategies for broad solution space coverage. Genetic Evolution replaces stochastic operations with feedback-guided mechanisms, enabling targeted mutation and compositional crossover. Hierarchical Evolution Memory captures both successful and failed experiences at inter-task and intra-task levels. Experiments on EffiBench-X demonstrate that CSE consistently outperforms all baselines across various LLM backbones. Furthermore, CSE achieves higher efficiency from early generations and maintains continuous improvement throughout evolution. Our code is publicly available at https://github.com/QuantaAlpha/EvoControl.


翻译:自演化方法通过迭代的"生成-验证-精炼"循环增强代码生成能力,然而现有方法存在探索效率低下的问题,难以在有限预算内发现具有更优复杂度的解决方案。这种低效性源于三个关键瓶颈:初始化偏差使演化过程陷入劣质解区域、缺乏反馈引导的随机操作不可控、以及跨任务经验利用不足。为解决这些瓶颈,我们提出可控自演化方法,其包含三个核心组件:多样化规划初始化生成结构各异的算法策略以实现广阔解空间覆盖;遗传演化以反馈引导机制替代随机操作,实现定向突变与组合交叉;分层演化记忆在任务间与任务内两个层级同时捕获成功与失败经验。在EffiBench-X基准上的实验表明,CSE在不同大语言模型基座上均持续优于所有基线方法。此外,CSE从演化早期即展现出更高效率,并在整个演化过程中保持持续改进。代码已开源:https://github.com/QuantaAlpha/EvoControl。

0
下载
关闭预览

相关内容

专知会员服务
16+阅读 · 2021年1月23日
一文看懂AutoEncoder模型演进图谱
AINLP
12+阅读 · 2019年6月17日
机器学习中的最优化算法总结
人工智能前沿讲习班
22+阅读 · 2019年3月22日
2018年深度学习优化算法最新综述
计算机视觉战队
10+阅读 · 2018年12月11日
【干货】深入理解自编码器(附代码实现)
GAFT:一个使用 Python 实现的遗传算法框架
Python开发者
10+阅读 · 2017年8月1日
国家自然科学基金
0+阅读 · 2016年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2013年12月31日
VIP会员
相关资讯
一文看懂AutoEncoder模型演进图谱
AINLP
12+阅读 · 2019年6月17日
机器学习中的最优化算法总结
人工智能前沿讲习班
22+阅读 · 2019年3月22日
2018年深度学习优化算法最新综述
计算机视觉战队
10+阅读 · 2018年12月11日
【干货】深入理解自编码器(附代码实现)
GAFT:一个使用 Python 实现的遗传算法框架
Python开发者
10+阅读 · 2017年8月1日
相关基金
国家自然科学基金
0+阅读 · 2016年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2013年12月31日
Top
微信扫码咨询专知VIP会员