Multi-agent systems (MAS) have emerged as a prominent paradigm for leveraging large language models (LLMs) to tackle complex tasks. However, the mechanisms governing the effectiveness of MAS built upon publicly available LLMs, specifically the underlying rationales for their success or failure, remain largely unexplored. In this paper, we revisit MAS through the perspective of \textit{entropy}, considering both intra- and inter-agent dynamics by investigating entropy transitions during problem-solving across various topologies, six reasoning benchmarks, and two agentic tasks. By analyzing 245 features spanning token-, agent-, and round-level entropy, we counterintuitively find that a single agent outperforms MAS in approximately 43.3\% of cases, and that entropy dynamics are largely determined during the first round of interaction. Furthermore, we provide three key observations: 1) \textit{Certainty Preference}: peak entropy directly harms and stable entropy directly benefits MAS correctness; 2) \textit{Base Entropy}: base models with lower entropy during problem-solving causally drive MAS performance; and 3) \textit{Task Awareness}: entropy dynamics of MAS play varying roles across different tasks. Building on these insights, we introduce a simple yet effective algorithm, the \textit{Entropy Judger}, to select solutions from MAS's pass@$k$ results, leading to consistent accuracy improvements across all MAS configurations and tasks. Our source code is available at \href{https://github.com/AgenticFinLab/multiagent-entropy}{this https URL}.


翻译:多智能体系统(MAS)已成为利用大型语言模型(LLM)应对复杂任务的主流范式。然而,基于公开LLM构建的MAS有效性机制——尤其是其成功或失败的潜在原因——仍鲜有探索。本文从熵的视角重新审视MAS,通过研究不同拓扑结构、六个推理基准测试和两类智能体任务中问题解决过程中的熵变,同时考虑智能体内部与智能体间的动态特性。通过分析涵盖词元级、智能体级和回合级熵的245个特征,我们发现了一个反直觉现象:约43.3%的案例中单智能体表现优于MAS,且熵的动态特性主要在第一轮交互中确定。此外,我们提出了三项关键发现:1)**确定性偏好**:峰值熵直接损害MAS的正确性,而稳定熵直接有益于MAS的正确性;2)**基础熵**:问题解决过程中基础模型具有较低熵值会因果性地驱动MAS性能;3)**任务感知**:MAS的熵动态在不同任务中扮演不同角色。基于这些见解,我们提出一种简单有效的算法——**熵判断器**(Entropy Judger),用于从MAS的pass@$k$结果中选择方案,从而在所有MAS配置和任务中实现一致的准确率提升。我们的源代码可在\href{https://github.com/AgenticFinLab/multiagent-entropy}{此https链接}获取。

0
下载
关闭预览

相关内容

智能体,顾名思义,就是具有智能的实体,英文名是Agent。
AgentOps综述:智能体系统运维框架
专知会员服务
25+阅读 · 6月4日
多智能体协作机制
专知会员服务
27+阅读 · 4月25日
多智能体协作机制:大语言模型综述
专知会员服务
73+阅读 · 2025年3月4日
多智能体学习中合作的综述
专知会员服务
76+阅读 · 2023年12月12日
面向多智能体博弈对抗的对手建模框架
专知
19+阅读 · 2022年9月28日
【综述】多智能体强化学习算法理论研究
深度强化学习实验室
18+阅读 · 2020年9月9日
多智能体强化学习(MARL)近年研究概览
PaperWeekly
39+阅读 · 2020年3月15日
浅谈群体智能——新一代AI的重要方向
中国科学院自动化研究所
44+阅读 · 2019年10月16日
基于车路协同的群体智能协同
智能交通技术
10+阅读 · 2019年1月23日
群体智能:新一代人工智能的重要方向
走向智能论坛
12+阅读 · 2017年8月16日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2013年12月31日
国家自然科学基金
18+阅读 · 2009年12月31日
国家自然科学基金
19+阅读 · 2008年12月31日
VIP会员
最新内容
致命七类无人机:无人机时代的演进型合成兵种
专知会员服务
1+阅读 · 35分钟前
《异构无人水面艇集群作战自主制导算法》130页
《人工智能能通过美国陆军战争学院吗?》报告
军事域人工智能驱动系统的治理
专知会员服务
4+阅读 · 9月14日
相关资讯
相关基金
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2013年12月31日
国家自然科学基金
18+阅读 · 2009年12月31日
国家自然科学基金
19+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员