Evolutionary multi-task optimization (EMTO) is an advanced optimization paradigm that improves search efficiency by enabling knowledge transfer across multiple tasks solved in parallel. Accordingly, a broad range of knowledge transfer methods (KTMs) have been developed as integral components of EMTO algorithms, most of which are tailored to specific problem settings. However, the design of effective KTMs typically relies on substantial domain expertise and careful manual customization, as different EMTO scenarios require distinct transfer strategies to achieve performance gains. Meanwhile, recent advances in large language models (LLMs) have demonstrated strong capabilities in autonomous programming and algorithm synthesis, opening up new possibilities for automating the design of optimization solvers. Motivated by this, in this paper, we propose a Self-guided Knowledge Transfer Design (SKTD) framework that leverages LLMs to autonomously generate knowledge transfer methods (KTMs) as algorithmic components within EMTO. By enabling data-driven and self-adaptive construction of transfer strategies, SKTD facilitates effective knowledge reuse across heterogeneous tasks and diverse EMTO scenarios. To the best of our knowledge, this work represents the first attempt to automate the generation of KTMs for EMTO. Extensive experiments on well-established EMTO benchmarks with varying degrees of task similarity demonstrate that the proposed SKTD consistently achieves superior or highly competitive performance compared with both the state-of-the-art program search approach and manually designed EMTO methods, in terms of optimization effectiveness and cross-scenario generalization.


翻译:进化多任务优化(EMTO)是一种先进的优化范式,通过支持并行求解多个任务间的知识迁移来提高搜索效率。为此,研究者已开发出多种作为EMTO算法核心组件的知识迁移方法(KTMs),其中大多针对特定问题场景定制。然而,设计有效的KTM通常依赖大量领域知识与精细的人工定制,因为不同EMTO场景需要不同的迁移策略才能实现性能提升。与此同时,大语言模型(LLMs)的最新进展已展现出在自主编程和算法合成方面的强大能力,为自动化设计优化求解器开辟了新可能。受此启发,本文提出了一种自引导知识迁移设计框架(SKTD),利用LLMs在EMTO中自主生成作为算法组件的知识迁移方法(KTMs)。通过实现数据驱动且自适应构建的迁移策略,SKTD促进了异构任务及不同EMTO场景间有效的知识复用。据我们所知,本工作是首次尝试自动化生成EMTO的KTMs。在任务相似度各异的成熟EMTO基准测试上进行的大量实验表明,与最先进的程序搜索方法和人工设计的EMTO方法相比,所提出的SKTD在优化效果和跨场景泛化能力方面始终表现出优越或极具竞争力的性能。

0
下载
关闭预览

相关内容

BES:让语言模型通过双向进化搜索自我改进
专知会员服务
8+阅读 · 5月30日
大语言模型在多模态推荐系统中的应用综述
专知会员服务
17+阅读 · 2025年5月17日
大语言模型算法演进综述
专知会员服务
81+阅读 · 2024年5月30日
大模型如何迭代?北大等《大型语言模型自我进化》综述
Transformer模型-深度学习自然语言处理,17页ppt
专知会员服务
108+阅读 · 2020年8月30日
迁移自适应学习最新综述,附21页论文下载
迁移学习在深度学习中的应用
专知
24+阅读 · 2017年12月24日
国家自然科学基金
43+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
31+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Arxiv
25+阅读 · 2023年6月23日
VIP会员
最新内容
ICML 2026 | CFPO:用反事实策略优化提升多模态推理
专知会员服务
1+阅读 · 今天14:45
综述 | 世界动作模型:少做梦,多行动
专知会员服务
2+阅读 · 今天14:43
美以伊冲突:无人机与人工智能的运用
专知会员服务
4+阅读 · 今天14:31
《特种部队在透明战场中的生存力》最新报告
专知会员服务
3+阅读 · 今天14:11
《人工智能生成的零日漏洞:对未来作战的影响》
综述 | 3D场景图:开放挑战与未来方向
专知会员服务
8+阅读 · 6月22日
21世纪的无人机战争
专知会员服务
4+阅读 · 6月22日
《量子技术的军事任务技术适配与利用》
专知会员服务
5+阅读 · 6月22日
相关基金
国家自然科学基金
43+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
31+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员