Multi-Agent Systems (MAS) offer a powerful paradigm for solving complex problems, yet their performance is critically dependent on the design of their underlying collaboration topology. As MAS become increasingly deployed in web services (e.g., search engines), designing adaptive topologies for diverse cross-domain user queries becomes essential. Current graph learning-based design methodologies often adhere to a "one-for-one" paradigm, where a specialized model is trained for each specific task domain. This approach suffers from poor generalization to unseen domains and fails to leverage shared structural knowledge across different tasks. To address this, we propose OFA-TAD, a one-for-all framework that generates adaptive collaboration graphs for any task described in natural language through a single universal model. Our approach integrates a Task-Aware Graph State Encoder (TAGSE) that filters task-relevant node information via sparse gating, and a Mixture-of-Experts (MoE) architecture that dynamically selects specialized sub-networks to drive node and edge prediction. We employ a three-stage training strategy: unconditional pre-training on canonical topologies for structural priors, large-scale conditional pre-training on LLM-generated datasets for task-topology mappings, and supervised fine-tuning on empirically validated graphs. Experiments across six diverse benchmarks show that OFA-TAD significantly outperforms specialized one-for-one models, generating highly adaptive MAS topologies. Code: https://github.com/Shiy-Li/OFA-MAS.


翻译:多智能体系统(MAS)为解决复杂问题提供了强大的范式,但其性能关键取决于底层协作拓扑的设计。随着MAS在网络服务(如搜索引擎)中的部署日益增多,为多样化的跨领域用户查询设计自适应拓扑变得至关重要。当前基于图学习的设计方法通常遵循“一对一”范式,即为每个特定任务领域训练一个专用模型。这种方法对未见领域的泛化能力较差,且未能充分利用不同任务间共享的结构知识。为此,我们提出OFA-TAD,一个一体化框架,通过单个通用模型为任何以自然语言描述的任务生成自适应协作图。我们的方法集成了一个任务感知图状态编码器(TAGSE),它通过稀疏门控筛选任务相关的节点信息,以及一个专家混合(MoE)架构,动态选择专用子网络来驱动节点和边的预测。我们采用三阶段训练策略:在规范拓扑上进行无条件预训练以获得结构先验,在LLM生成的大规模数据集上进行条件预训练以学习任务-拓扑映射,以及在经验验证的图上进行监督微调。在六个多样化基准测试上的实验表明,OFA-TAD显著优于专用的“一对一”模型,能够生成高度自适应的MAS拓扑。代码:https://github.com/Shiy-Li/OFA-MAS。

0
下载
关闭预览

相关内容

设计是对现有状的一种重新认识和打破重组的过程,设计让一切变得更美。
具身人工智能中的生成式多智能体协作:系统性综述
专知会员服务
53+阅读 · 2025年2月22日
《多智能体任务规划》2022博士论文
专知会员服务
285+阅读 · 2022年11月20日
多智能体强化学习(MARL)近年研究概览
PaperWeekly
38+阅读 · 2020年3月15日
专家报告|深度学习+图像多模态融合
中国图象图形学报
12+阅读 · 2019年10月23日
基于模型系统的系统设计
科技导报
10+阅读 · 2019年4月25日
【知识图谱】知识图谱+人工智能=新型网络信息体系
产业智能官
14+阅读 · 2018年11月18日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2013年12月31日
国家自然科学基金
18+阅读 · 2009年12月31日
国家自然科学基金
48+阅读 · 2009年12月31日
国家自然科学基金
17+阅读 · 2008年12月31日
VIP会员
相关VIP内容
具身人工智能中的生成式多智能体协作:系统性综述
专知会员服务
53+阅读 · 2025年2月22日
《多智能体任务规划》2022博士论文
专知会员服务
285+阅读 · 2022年11月20日
相关基金
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2013年12月31日
国家自然科学基金
18+阅读 · 2009年12月31日
国家自然科学基金
48+阅读 · 2009年12月31日
国家自然科学基金
17+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员