Fake news detection becomes particularly challenging in real-time scenarios, where emerging events often lack sufficient supporting evidence. Existing approaches often rely heavily on external evidence and therefore struggle to generalize under evidence scarcity. To address this issue, we propose Evaluation-Aware Selection of Experts (EASE), a novel framework for real-time fake news detection that dynamically adapts its decision-making process according to the assessed sufficiency of available evidence. EASE introduces a sequential evaluation mechanism comprising three independent perspectives: (1) Evidence-based evaluation, which assesses evidence and incorporates it into decision-making only when the evidence is sufficiently supportive; (2) Reasoning-based evaluation, which leverages the world knowledge of large language models (LLMs) and applies them only when their reliability is adequately established; and (3) Sentiment-based fallback, which integrates sentiment cues when neither evidence nor reasoning is reliable. To enhance the accuracy of evaluation processes, EASE employs instruction tuning with pseudo labels to guide each evaluator in justifying its perspective-specific knowledge through interpretable reasoning. Furthermore, the expert modules integrate the evaluators' justified assessments with the news content to enable evaluation-aware decision-making, thereby enhancing overall detection accuracy. Moreover, we introduce RealTimeNews-25, a new benchmark comprising recent news for evaluating model generalization on emerging news with limited evidence. Extensive experiments demonstrate that EASE not only achieves state-of-the-art performance across multiple benchmarks, but also significantly improves generalization to real-time news. The code and dataset are available: https://github.com/wgyhhhh/EASE.


翻译:实时场景下的虚假新闻检测尤为困难,因为新兴事件往往缺乏充分的支撑证据。现有方法通常严重依赖外部证据,因此在证据稀缺时难以泛化。为解决这一问题,我们提出评估感知的专家选择框架(EASE),这是一种用于实时虚假新闻检测的新型框架,能够根据对可用证据充分性的评估动态调整其决策过程。EASE引入了一种包含三个独立视角的顺序评估机制:(1)基于证据的评估,该视角评估证据并仅在证据具有足够支持性时才将其纳入决策;(2)基于推理的评估,该视角利用大语言模型(LLMs)的世界知识,并仅在其可靠性得到充分确认时才应用这些知识;(3)基于情感的回退机制,当证据和推理均不可靠时,该机制整合情感线索。为提高评估过程的准确性,EASE采用带有伪标签的指令微调来指导每个评估器通过可解释的推理来论证其特定视角的知识。此外,专家模块将评估器经过论证的评估与新闻内容相结合,以实现评估感知的决策,从而提升整体检测准确率。此外,我们引入了RealTimeNews-25这一新基准,它包含近期新闻,用于评估模型在证据有限的新兴新闻上的泛化能力。大量实验表明,EASE不仅在多个基准测试中取得了最先进的性能,而且显著提升了对实时新闻的泛化能力。代码与数据集已开源:https://github.com/wgyhhhh/EASE。

0
下载
关闭预览

相关内容

软件工程评估(Evaluation and Assessment in Software Engineering,EASE)会议是一个国际领先的会议场所,学术界和实践者可以在此展示和讨论他们对基于证据的软件工程的研究及其对软件实践的影响。第23届EASE将于2019年4月在丹麦哥本哈根举行,由哥本哈根IT大学主办。EASE 2019欢迎向不同领域提交高质量的研究报告:完整的研究论文、短篇论文和手工艺品、新兴成果和愿景、行业轨迹、博士研讨会、海报。官网链接:https://ease2019.org/
FlowQA: Grasping Flow in History for Conversational Machine Comprehension
专知会员服务
34+阅读 · 2019年10月18日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
60+阅读 · 2019年10月17日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
STRCF for Visual Object Tracking
统计学习与视觉计算组
15+阅读 · 2018年5月29日
Focal Loss for Dense Object Detection
统计学习与视觉计算组
12+阅读 · 2018年3月15日
IJCAI | Cascade Dynamics Modeling with Attention-based RNN
KingsGarden
13+阅读 · 2017年7月16日
国家自然科学基金
13+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Arxiv
13+阅读 · 2020年10月19日
Arxiv
45+阅读 · 2019年12月20日
VIP会员
相关资讯
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
STRCF for Visual Object Tracking
统计学习与视觉计算组
15+阅读 · 2018年5月29日
Focal Loss for Dense Object Detection
统计学习与视觉计算组
12+阅读 · 2018年3月15日
IJCAI | Cascade Dynamics Modeling with Attention-based RNN
KingsGarden
13+阅读 · 2017年7月16日
相关论文
Arxiv
13+阅读 · 2020年10月19日
Arxiv
45+阅读 · 2019年12月20日
相关基金
国家自然科学基金
13+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员