Multi-agent systems, in which multiple large language model agents solve problems through turn-based interaction, are increasingly deployed in high-stakes settings such as medical diagnosis, legal analysis, and forensic decision-making. Their reliability can be at risk when single agents reason from incorrect or misleading context, e.g., from tool calls, since errors may propagate through agent interactions. This work studies this risk by injecting intent-based misinformation into benign single-agent and multi-agent systems across reasoning, knowledge, and alignment tasks. We find that misinformation can degrade single-agent performance and persists across multi-agent debate, with agents often retaining answers introduced by misinformed peers. Nevertheless, multi-agent debate reduces the resulting performance degradation compared to single-agent prompting, especially when most agents are not exposed to misinformation. Robustness depends on group composition and decision protocol. Consensus can be more stable than voting under peer pressure, while majorities can often steer misinformed agents back toward correct answers. Our results show that misinformation robustness in multi-agent systems depends on the underlying model and also on how agents exchange information and aggregate decisions.


翻译:多智能体系统——其中多个大语言模型通过轮次交互解决任务——正越来越多地被部署在医疗诊断、法律分析和法医决策等高风险场景中。当单个智能体基于不正确或误导性上下文(例如工具调用输出)进行推理时,错误可能通过智能体交互传播,从而危及系统可靠性。本研究通过向推理、知识和对齐任务中的良性单智能体与多智能体系统注入基于意图的错误信息,系统考察了这一风险。我们发现,错误信息会降低单智能体性能,并在多智能体辩论中持续存在——智能体往往保留由受误导同伴引入的答案。尽管如此,与单智能体提示相比,多智能体辩论能减少最终的性能下降,尤其在大部分智能体未接触错误信息时效果更为显著。鲁棒性取决于群体构成与决策协议:在同伴压力下,共识可能比投票更稳定,而多数方往往能引导受误导智能体回归正确答案。研究结果表明,多智能体系统中抵御错误信息的鲁棒性既依赖于底层模型,也取决于智能体间信息交换与决策聚合的方式。

0
下载
关闭预览

相关内容

多智能体协作机制
专知会员服务
23+阅读 · 4月25日
《多智能体大语言模型系统的可靠决策研究》
专知会员服务
41+阅读 · 2月2日
《多智能体系统中的异质性》221页
专知会员服务
36+阅读 · 2025年2月14日
《信息在多智能体决策中的作用》214页
专知会员服务
64+阅读 · 2024年11月20日
【NUS博士论文】面向交互的多智能体行为预测,156页pdf
专知会员服务
32+阅读 · 2024年11月17日
【CAA智库】高文院士:转向跨媒体智能
中国自动化学会
22+阅读 · 2018年8月20日
误差反向传播——CNN
统计学习与视觉计算组
31+阅读 · 2018年7月12日
不对称多代理博弈中的博弈理论解读
AI前线
14+阅读 · 2018年3月8日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2013年12月31日
国家自然科学基金
18+阅读 · 2009年12月31日
Arxiv
0+阅读 · 6月13日
VIP会员
最新内容
《通过小型无人机系统将情报能力“作战化”》
消耗优势:美军的“精确规模化”概念
专知会员服务
8+阅读 · 6月15日
《离线语言支持系统:面向空战战术决策》
专知会员服务
8+阅读 · 6月15日
相关VIP内容
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2013年12月31日
国家自然科学基金
18+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员