Large language models (LLMs) have achieved impressive results in natural language understanding, yet their reasoning capabilities remain limited when operating as single agents. Multi-Agent Debate (MAD) has been proposed to address this limitation by enabling collaborative reasoning among multiple models in a round-table debate manner. While effective, MAD introduces substantial computational overhead due to the number of agents involved and the frequent communication required. In this paper, we propose MARS (Multi-Agent Review System), a role-based collaboration framework inspired by the review process. In MARS, an author agent generates an initial solution, reviewer agents provide decisions and comments independently, and a meta-reviewer integrates the feedback to make the final decision and guide further revision. This design enhances reasoning quality while avoiding costly reviewer-to-reviewer interactions, thereby controlling token consumption and inference time. We compared MARS with both MAD and other state-of-the-art reasoning strategies across multiple benchmarks. Extensive experiments with different LLMs show that MARS matches the accuracy of MAD while reducing both token usage and inference time by approximately 50\%. Code is available at https://github.com/xwang97/MARS.


翻译:大语言模型在自然语言理解领域取得了显著成果,但作为单一智能体运行时,其推理能力仍存在局限。为应对这一挑战,研究者提出了多智能体辩论方法,通过圆桌辩论形式使多个模型协同推理。尽管该方法有效,但由于涉及多个智能体及频繁的通信需求,其带来了显著的计算开销。本文提出MARS(多智能体评审系统),一种受评审流程启发的基于角色的协作框架。在MARS中,作者智能体生成初始解决方案,评审智能体独立提供决策与评论,元评审智能体整合反馈以做出最终决策并指导后续修订。该设计既能提升推理质量,又避免了评审智能体之间的高成本互动,从而有效控制令牌消耗与推理时间。我们在多个基准测试中将MARS与多智能体辩论及其他先进推理策略进行了对比。基于不同大语言模型的大量实验表明,MARS在保持与多智能体辩论相同准确率的同时,将令牌使用量和推理时间均降低约50%。代码已开源至https://github.com/xwang97/MARS。

0
下载
关闭预览

相关内容

智能体,顾名思义,就是具有智能的实体,英文名是Agent。
多智能体协作机制
专知会员服务
27+阅读 · 4月25日
《多智能体大语言模型系统的可靠决策研究》
专知会员服务
43+阅读 · 2月2日
大语言模型的智能体化推理
专知会员服务
36+阅读 · 1月21日
面向多智能体博弈对抗的对手建模框架
专知
19+阅读 · 2022年9月28日
多智能体强化学习(MARL)近年研究概览
PaperWeekly
39+阅读 · 2020年3月15日
绝对干货!NLP预训练模型:从transformer到albert
新智元
15+阅读 · 2019年11月10日
浅谈群体智能——新一代AI的重要方向
中国科学院自动化研究所
44+阅读 · 2019年10月16日
群体智能:新一代人工智能的重要方向
走向智能论坛
12+阅读 · 2017年8月16日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2013年12月31日
国家自然科学基金
21+阅读 · 2013年12月31日
国家自然科学基金
18+阅读 · 2009年12月31日
国家自然科学基金
50+阅读 · 2009年12月31日
国家自然科学基金
19+阅读 · 2008年12月31日
Arxiv
24+阅读 · 2024年2月23日
VIP会员
最新内容
反制无人机:乌克兰提供的五点启示
专知会员服务
3+阅读 · 9月23日
《各指挥层级均亟需红队能力》报告
专知会员服务
4+阅读 · 9月23日
《航电任务系统框架(FAMOS)》50页报告
专知会员服务
4+阅读 · 9月22日
《对抗行动中的人工智能与自主性》智库报告
专知会员服务
7+阅读 · 9月22日
《从数据到胜利:战争中的分析优势之争》
专知会员服务
9+阅读 · 9月22日
战争不仅需要机器人:人类仍不可或缺
专知会员服务
5+阅读 · 9月21日
《描绘美国防部创新基础设施的未来蓝图》100页
专知会员服务
10+阅读 · 9月21日
相关基金
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2013年12月31日
国家自然科学基金
21+阅读 · 2013年12月31日
国家自然科学基金
18+阅读 · 2009年12月31日
国家自然科学基金
50+阅读 · 2009年12月31日
国家自然科学基金
19+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员