LLM-guided evolutionary search has emerged as a promising paradigm for automated algorithm discovery, yet most systems track search progress primarily through executable programs and scalar fitness. Even when natural-language reflection is used, it is often used locally in mutation prompts or stored without an explicit population-level organization of strategic directions. As a result, evolutionary search can struggle to distinguish syntactically different implementations of the same idea, preserve lower-fitness but strategically promising directions, or detect when an entire family of strategies has saturated. We introduce \model, a modular strategy-space layer that elevates natural-language strategy descriptions from transient prompt context to first-class population-level evolutionary state in LLM-driven program search. \model augments each candidate program with an explicit natural language strategy description and uses this representation in three ways: Strategy Articulation turns mutation into a diagnose-direct-implement process; Stratified Experience Retrieval organizes the archive into strategy clusters and selects inspirations by behavioral complementarity; and Strategic Landscape Navigation periodically summarizes effective, saturated, and underexplored strategy families to guide future mutations. Across mathematical algorithm discovery, systems optimization, and agent-scaffold benchmarks, \model improves the underlying evolutionary backbones in most settings, with particularly large gains (21% relative improvement) on open-ended system optimization tasks. These results suggest that persistent strategy representations provide a practical mechanism for improving the robustness and efficiency of LLM-guided evolutionary search, suggesting a path toward compound AI systems that accumulate algorithmic knowledge over time.


翻译:基于大语言模型引导的进化搜索已成为自动化算法发现的前沿范式,然而现有系统主要通过可执行程序与标量适应度追踪搜索进程。即使采用自然语言反思机制,其应用也往往局限于变异提示中的局部场景,或缺乏显式的种群级策略方向组织。这种缺陷导致进化搜索难以区分同一思想的不同语法实现,难以保留低适应度但具有战略价值的方向,更难以检测整个策略族是否已趋于饱和。本文提出\model模块化策略空间层,将自然语言策略描述从瞬态提示上下文提升为大语言模型驱动程序搜索中首要的种群级进化状态表征。\model为每个候选程序附加显式自然语言策略描述,并通过三重机制实现效能提升:策略表达将变异转化为诊断-定向-实施流程;分层经验检索将存档组织为策略簇,依据行为互补性选择启发性样本;策略空间导航周期性地总结有效、饱和及未充分探索的策略族以指导后续变异。在数学算法发现、系统优化及智能体框架基准测试中,\model在多数场景下显著提升了底层进化搜索框架的性能,尤其在开放式系统优化任务中实现21%的相对性能提升。实验结果表明,持久化策略表征为提升大语言模型引导进化搜索的鲁棒性与效率提供了切实可行的机制,揭示了构建持续积累算法知识的复合型人工智能系统的发展路径。

0
下载
关闭预览

相关内容

互联网
BES:让语言模型通过双向进化搜索自我改进
专知会员服务
8+阅读 · 5月30日
大语言模型算法演进综述
专知会员服务
81+阅读 · 2024年5月30日
推荐算法中的特征工程
专知会员服务
40+阅读 · 2022年9月9日
【Cell】神经算法推理,Neural algorithmic reasoning
专知会员服务
29+阅读 · 2021年7月16日
专知会员服务
50+阅读 · 2021年4月15日
PlaNet 简介:用于强化学习的深度规划网络
谷歌开发者
13+阅读 · 2019年3月16日
类脑计算的前沿论文,看我们推荐的这7篇
人工智能前沿讲习班
21+阅读 · 2019年1月7日
深度学习时代的目标检测算法
炼数成金订阅号
40+阅读 · 2018年3月19日
综述:深度学习时代的目标检测算法
极市平台
27+阅读 · 2018年3月17日
国家自然科学基金
0+阅读 · 2016年12月31日
国家自然科学基金
43+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
综述 | 3D场景图:开放挑战与未来方向
专知会员服务
1+阅读 · 今天15:00
21世纪的无人机战争
专知会员服务
2+阅读 · 今天14:05
《量子技术的军事任务技术适配与利用》
专知会员服务
2+阅读 · 今天13:51
美国从乌克兰无人机战争中学习经验
专知会员服务
7+阅读 · 6月21日
ICML 2026 | 面向视觉语言模型的语义鲁棒性认证
专知会员服务
5+阅读 · 6月21日
相关基金
国家自然科学基金
0+阅读 · 2016年12月31日
国家自然科学基金
43+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员