Existing Multi-Agent Systems (MAS) typically rely on static, homogeneous model configurations, limiting their ability to exploit the distinct strengths of differently post-trained models. To address this, we introduce Team-of-Thoughts, a novel MAS architecture that leverages the complementary capabilities of heterogeneous agents via an orchestrator-tool paradigm. Our framework introduces two key mechanisms to optimize performance: (1) an orchestrator calibration scheme that identifies models with superior coordination capabilities, and (2) a self-assessment protocol where tool agents profile their own domain expertise to account for variations in post-training skills. During inference, the orchestrator dynamically activates the most suitable tool agents based on these proficiency profiles. Experiments on five reasoning and code generation benchmarks show that Team-of-Thoughts delivers consistently superior task performance. Notably, on AIME24 and LiveCodeBench, our approach achieves accuracies of 96.67% and 72.53%, respectively, substantially outperforming homogeneous role-play baselines, which score 80% and 65.93%.


翻译:现有的多智能体系统通常依赖于静态、同质的模型配置,这限制了其利用不同后训练模型独特优势的能力。为解决这一问题,我们提出了思维团队,一种新颖的多智能体系统架构,通过编排器-工具范式利用异构智能体的互补能力。我们的框架引入了两个关键机制以优化性能:(1)一种编排器校准方案,用于识别具有卓越协调能力的模型;(2)一种自评估协议,工具智能体通过该协议分析其自身领域专长,以考虑后训练技能差异。在推理过程中,编排器根据这些能力配置文件动态激活最合适的工具智能体。在五个推理和代码生成基准测试上的实验表明,思维团队始终提供卓越的任务性能。值得注意的是,在AIME24和LiveCodeBench上,我们的方法分别实现了96.67%和72.53%的准确率,显著优于同质角色扮演基线(其得分分别为80%和65.93%)。

0
下载
关闭预览

相关内容

面向大模型多智能体系统的多维评估方法
专知会员服务
34+阅读 · 2025年4月15日
人机协作《编队系统中不安全协作控制的系统理论分析》
专知会员服务
23+阅读 · 2024年11月23日
《基于策略的多智能体多团队系统框架》319页
专知会员服务
71+阅读 · 2024年5月1日
常用的模型集成方法介绍:bagging、boosting 、stacking
基于车路协同的群体智能协同
智能交通技术
10+阅读 · 2019年1月23日
DeepMind:用PopArt进行多任务深度强化学习
论智
29+阅读 · 2018年9月14日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
11+阅读 · 2015年12月31日
国家自然科学基金
23+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2013年12月31日
国家自然科学基金
19+阅读 · 2012年12月31日
国家自然科学基金
18+阅读 · 2009年12月31日
VIP会员
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
11+阅读 · 2015年12月31日
国家自然科学基金
23+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2013年12月31日
国家自然科学基金
19+阅读 · 2012年12月31日
国家自然科学基金
18+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员