When does multi-agent debate help data cleaning, and when does it hurt? Across three benchmarks, four model families, and over 6,000 task-condition pairs, we find debate's effect reverses sign: it degrades generation across all four models (-1.6 to -15.5pp) through critique-induced confusion (CIC), hallucinated Critic feedback that the Generator accepts uncritically, yet improves error detection (+27.4pp F1, d=1.0). We derive a debate benefit condition: debate helps when the probability of rescuing a wrong output (Critic verification odds weighted by fixability) exceeds the probability of destroying a correct one. A factorial experiment proves adversarial separation is essential: self-verification with identical tools fails, while a separate Critic with code-execution grounding and evidence-gated generation produces the first debate configuration to significantly exceed single-agent on a generative task (+5.3pp, p<0.05). The condition correctly predicts all nine task types and generalizes with zero false positives across 19 published comparisons in seven domains.


翻译:在什么情况下,多智能体辩论有助于数据清洗,又在何时适得其反?通过在三个基准、四个模型家族和超过6000个任务-条件组合上的实验,我们发现辩论的效果发生了逆转:由于批评引发的混淆(CIC),即生成器不加批判地接受批评者提供的幻觉式反馈,导致所有四个模型的生成性能下降(-1.6至-15.5个百分点),然而错误检测能力却得到提升(F1分数提高27.4个百分点,d=1.0)。我们推导出一个有益辩论的条件:当挽救错误输出的概率(基于可修正性的批评者验证几率)超过破坏正确输出的概率时,辩论才有益。一项析因实验证明,对抗性分离至关重要:使用相同工具进行自我验证的效果不佳,而采用独立批评者结合代码执行依据和证据门控生成,则首次产生了在生成任务上显著优于单智能体的辩论配置(提高5.3个百分点,p<0.05)。该条件正确预测了所有九种任务类型,并在七个领域的19项已发表对比中实现了零假阳性的泛化效果。

0
下载
关闭预览

相关内容

面向具身智能的多模态数据存储与检索:综述
专知会员服务
31+阅读 · 2025年8月20日
用于语音识别的数据增强
AI研习社
24+阅读 · 2019年6月5日
赛尔原创 | 教聊天机器人进行多轮对话
哈工大SCIR
18+阅读 · 2017年9月18日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
17+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2013年12月31日
VIP会员
最新内容
面向国防作战的最佳自主与蜂群无人机技术
专知会员服务
6+阅读 · 7月28日
《异构人类团队的协作决策过程混合建模研究》
博士论文 | 面向大模型推理的内存高效算法
专知会员服务
5+阅读 · 7月27日
美空军新型反无人机部队初探
专知会员服务
9+阅读 · 7月27日
《防空交战流程的概率建模研究》
专知会员服务
12+阅读 · 7月27日
ICML 2026 教程 | 数值优化理论还重要吗?
专知会员服务
7+阅读 · 7月26日
ICM 2026 | 陶哲轩:人工智能时代的数学
专知会员服务
10+阅读 · 7月26日
相关VIP内容
面向具身智能的多模态数据存储与检索:综述
专知会员服务
31+阅读 · 2025年8月20日
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
17+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2013年12月31日
Top
微信扫码咨询专知VIP会员