Stance detection requires identifying an author's position toward a target, often from short-form texts where stance is implicit, indirect, or rhetorically framed. Although large language models (LLMs) achieve strong performance on this task, single-pass prompting can be brittle when multiple interpretations are plausible. Existing aggregation strategies, such as majority voting or self-consistency, improve robustness by combining labels, but they discard the intermediate reasoning needed to resolve conflicting interpretations. We introduce a multi-agent reasoning framework with adaptive worker allocation for stance detection that shifts aggregation from label-level voting to reasoning-level synthesis. The framework employs a Manager-Worker architecture in which a Manager adaptively allocates a variable number of Worker agents based on input complexity. Each Worker analyzes the input from a distinct perspective and produces a reasoning-only explanation without emitting a stance label; the Manager then synthesizes these explanations to produce the final prediction. We evaluate the proposed framework on SemEval-2016, P-Stance, and COVID-19 Stance using Llama, Mistral, and Gemini. Results show that the framework yields the largest gains on implicit and context-dependent stance cases, achieving 86.07 Macro-F1 on COVID-19 and 82.90 on SemEval-2016, while remaining competitive on more explicit stance datasets such as P-Stance. These findings suggest that adaptive reasoning-level aggregation is most beneficial when stance cannot be reliably inferred from surface cues alone.


翻译:立场检测需要识别作者对特定目标的立场,此类任务常处理短文本,其中立场隐含、间接或通过修辞手法呈现。尽管大语言模型在该任务中表现优异,但当存在多种合理解读时,单次提示推理可能不够稳健。现有聚合策略(如多数投票或自一致性)通过标签合并增强鲁棒性,但丢弃了解析冲突解读所需的中间推理过程。我们提出一种自适应工作分配的多智能体推理框架用于立场检测,将聚合从标签级投票升级为推理级综合。该框架采用管理者-工作者架构:管理者根据输入复杂度自适应分配可变数量的工作者智能体。每个工作者从独特视角分析输入,仅生成推理过程说明而不输出立场标签;管理者随后综合这些解释得出最终预测。我们在SemEval-2016、P-Stance和COVID-19 Stance数据集上基于Llama、Mistral和Gemini模型评估该框架。结果表明,框架在隐式和上下文依赖的立场样本上提升最为显著,在COVID-19和SemEval-2016数据集上分别达到86.07和82.90的Macro-F1值,同时在显性立场数据集(如P-Stance)上保持竞争力。这些发现表明,当立场无法仅凭表面线索可靠推断时,自适应推理级聚合方法最具优势。

0
下载
关闭预览

相关内容

多智能体协作机制
专知会员服务
23+阅读 · 4月25日
大语言模型的智能体化推理
专知会员服务
35+阅读 · 1月21日
智能体评判者(Agent-as-a-Judge)研究综述
专知会员服务
37+阅读 · 1月9日
【ICML2025】通过多智能体反思强化大语言模型推理
专知会员服务
23+阅读 · 2025年6月11日
KG-Agent:面向KG复杂推理的高效自治代理框架
专知会员服务
35+阅读 · 2024年6月1日
文本立场检测综述
专知会员服务
34+阅读 · 2021年11月2日
专知会员服务
22+阅读 · 2021年4月15日
面向多智能体博弈对抗的对手建模框架
专知
18+阅读 · 2022年9月28日
异常检测(Anomaly Detection)综述
极市平台
20+阅读 · 2020年10月24日
深度学习时代的目标检测算法
炼数成金订阅号
40+阅读 · 2018年3月19日
侦测欺诈交易(异常点检测)
GBASE数据工程部数据团队
20+阅读 · 2017年5月10日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2009年12月31日
国家自然科学基金
17+阅读 · 2008年12月31日
VIP会员
最新内容
ICML 2026 | CFPO:用反事实策略优化提升多模态推理
专知会员服务
1+阅读 · 今天14:45
综述 | 世界动作模型:少做梦,多行动
专知会员服务
1+阅读 · 今天14:43
美以伊冲突:无人机与人工智能的运用
专知会员服务
3+阅读 · 今天14:31
《特种部队在透明战场中的生存力》最新报告
专知会员服务
2+阅读 · 今天14:11
《人工智能生成的零日漏洞:对未来作战的影响》
综述 | 3D场景图:开放挑战与未来方向
专知会员服务
8+阅读 · 6月22日
21世纪的无人机战争
专知会员服务
4+阅读 · 6月22日
《量子技术的军事任务技术适配与利用》
专知会员服务
5+阅读 · 6月22日
相关VIP内容
多智能体协作机制
专知会员服务
23+阅读 · 4月25日
大语言模型的智能体化推理
专知会员服务
35+阅读 · 1月21日
智能体评判者(Agent-as-a-Judge)研究综述
专知会员服务
37+阅读 · 1月9日
【ICML2025】通过多智能体反思强化大语言模型推理
专知会员服务
23+阅读 · 2025年6月11日
KG-Agent:面向KG复杂推理的高效自治代理框架
专知会员服务
35+阅读 · 2024年6月1日
文本立场检测综述
专知会员服务
34+阅读 · 2021年11月2日
专知会员服务
22+阅读 · 2021年4月15日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2009年12月31日
国家自然科学基金
17+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员