Multi-agent LLM systems are increasingly deployed as autonomous collaborators, where agents interact freely rather than execute fixed, pre-specified workflows. In such settings, effective coordination cannot be fully designed in advance and must instead emerge through interaction. However, most prior work enforces coordination through fixed roles, workflows, or aggregation rules, leaving open the question of how well self-organizing teams perform when coordination is unconstrained. Drawing on organizational psychology, we study whether self-organizing LLM teams achieve strong synergy, where team performance matches or exceeds the best individual member. Across human-inspired and frontier ML benchmarks, we find that -- unlike human teams -- LLM teams consistently fail to match their expert agent's performance, even when explicitly told who the expert is, incurring performance losses of up to 37.6%. Decomposing this failure, we show that expert leveraging, rather than identification, is the primary bottleneck. Conversational analysis reveals a tendency toward integrative compromise -- averaging expert and non-expert views rather than appropriately weighting expertise -- which increases with team size and correlates negatively with performance. Interestingly, this consensus-seeking behavior improves robustness to adversarial agents, suggesting a trade-off between alignment and effective expertise utilization. Our findings reveal a significant gap in the ability of self-organizing multi-agent teams to harness the collective expertise of their members.


翻译:多智能体大语言模型系统正日益作为自主协作体被部署,其中智能体自由交互而非执行预先设定的固定工作流。在此类场景中,有效的协调无法完全预先设计,而必须通过交互动态涌现。然而,现有研究大多通过固定角色、工作流或聚合规则来强制协调,这使自组织团队在无约束协调下的性能表现成为开放性问题。借鉴组织心理学理论,我们研究了自组织大语言模型团队是否能实现强协同效应,即团队表现达到或超越最佳个体成员。通过在人类启发性基准和前沿机器学习基准上的实验,我们发现——与人类团队不同——大语言模型团队始终无法匹配其专家智能体的表现,即使明确告知专家身份,其性能损失仍高达37.6%。通过分解失败原因,我们证明专家能力利用(而非专家识别)是主要瓶颈。对话分析揭示了趋向整合性妥协的倾向——即平均专家与非专家观点而非合理加权专业知识——这种行为随团队规模扩大而增强,并与表现呈负相关。有趣的是,这种寻求共识的行为提升了对抗性智能体的鲁棒性,表明对齐性与专家能力有效利用之间存在权衡。我们的研究揭示了自组织多智能体团队在利用成员集体专业知识方面存在显著能力差距。

0
下载
关闭预览

相关内容

智能体,顾名思义,就是具有智能的实体,英文名是Agent。
《多智能体大语言模型系统的可靠决策研究》
专知会员服务
31+阅读 · 2月2日
《多智能体系统中的异质性》221页
专知会员服务
34+阅读 · 2025年2月14日
多循环嵌套的大语言模型多智能体指挥控制过程
专知会员服务
42+阅读 · 2025年1月19日
《基于策略的多智能体多团队系统框架》319页
专知会员服务
71+阅读 · 2024年5月1日
多智能体自主系统《群体自主系统的实时路径规划》248页
《多智能体系统中的目标管理》莱特州立大学博士论文
专知会员服务
68+阅读 · 2022年11月25日
面向多智能体博弈对抗的对手建模框架
专知
18+阅读 · 2022年9月28日
浅谈群体智能——新一代AI的重要方向
中国科学院自动化研究所
44+阅读 · 2019年10月16日
专访俞栋:多模态是迈向通用人工智能的重要方向
AI科技评论
26+阅读 · 2019年9月9日
基于车路协同的群体智能协同
智能交通技术
10+阅读 · 2019年1月23日
群体智能:新一代人工智能的重要方向
走向智能论坛
12+阅读 · 2017年8月16日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2013年12月31日
国家自然科学基金
20+阅读 · 2013年12月31日
国家自然科学基金
18+阅读 · 2009年12月31日
国家自然科学基金
48+阅读 · 2009年12月31日
国家自然科学基金
17+阅读 · 2008年12月31日
Arxiv
0+阅读 · 2月1日
Arxiv
0+阅读 · 1月19日
VIP会员
相关基金
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2013年12月31日
国家自然科学基金
20+阅读 · 2013年12月31日
国家自然科学基金
18+阅读 · 2009年12月31日
国家自然科学基金
48+阅读 · 2009年12月31日
国家自然科学基金
17+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员