The rapid spread of multimodal fake news poses a serious societal threat, as its evolving nature and reliance on timely factual details challenge existing detection methods. Dynamic Retrieval-Augmented Generation provides a promising solution by triggering keyword-based retrieval and incorporating external knowledge, thus enabling both efficient and accurate evidence selection. However, it still faces challenges in addressing issues such as redundant retrieval, coarse similarity, and irrelevant evidence when applied to deceptive content. In this paper, we propose ExDR, an Explanation-driven Dynamic Retrieval-Augmented Generation framework for Multimodal Fake News Detection. Our framework systematically leverages model-generated explanations in both the retrieval triggering and evidence retrieval modules. It assesses triggering confidence from three complementary dimensions, constructs entity-aware indices by fusing deceptive entities, and retrieves contrastive evidence based on deception-specific features to challenge the initial claim and enhance the final prediction. Experiments on two benchmark datasets, AMG and MR2, demonstrate that ExDR consistently outperforms previous methods in retrieval triggering accuracy, retrieval quality, and overall detection performance, highlighting its effectiveness and generalization capability.


翻译:多模态虚假新闻的快速传播构成了严重的社会威胁,其不断演变的特性以及对时效性事实细节的依赖,对现有检测方法提出了挑战。动态检索增强生成通过触发基于关键词的检索并整合外部知识,提供了一种有前景的解决方案,从而实现了高效且准确的证据选择。然而,在应用于欺骗性内容时,该方法仍面临冗余检索、相似度计算粗糙以及证据不相关等问题的挑战。本文提出ExDR,一个面向多模态虚假新闻检测的解释驱动动态检索增强生成框架。我们的框架系统性地利用模型生成的解释,将其应用于检索触发和证据检索两个模块。该框架从三个互补维度评估触发置信度,通过融合欺骗性实体构建实体感知索引,并基于欺骗特异性特征检索对比性证据,以质疑初始声明并增强最终预测。在AMG和MR2两个基准数据集上的实验表明,ExDR在检索触发准确性、检索质量和整体检测性能方面均持续优于先前方法,凸显了其有效性和泛化能力。

0
下载
关闭预览

相关内容

多模态检索增强生成的综合综述
专知会员服务
43+阅读 · 2025年2月17日
【CIKM2024】使用大型视觉语言模型的多模态虚假信息检测
《综述:生成式人工智能对虚假新闻的影响》
专知会员服务
34+阅读 · 2024年4月13日
《多模态假新闻检测框架》2023最新80页论文
专知会员服务
44+阅读 · 2023年10月30日
基于多模态学习的虚假新闻检测研究
专知会员服务
34+阅读 · 2023年9月8日
专知会员服务
28+阅读 · 2021年8月15日
数据受限条件下的多模态处理技术综述
专知
22+阅读 · 2022年7月16日
热点! 虚假新闻检测综述
专知
111+阅读 · 2019年2月26日
一文看懂虚假新闻检测(附数据集 & 论文推荐)
PaperWeekly
36+阅读 · 2019年2月19日
揭秘AI识别虚假新闻背后的原理
DeepTech深科技
10+阅读 · 2018年8月5日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
VIP会员
相关VIP内容
多模态检索增强生成的综合综述
专知会员服务
43+阅读 · 2025年2月17日
【CIKM2024】使用大型视觉语言模型的多模态虚假信息检测
《综述:生成式人工智能对虚假新闻的影响》
专知会员服务
34+阅读 · 2024年4月13日
《多模态假新闻检测框架》2023最新80页论文
专知会员服务
44+阅读 · 2023年10月30日
基于多模态学习的虚假新闻检测研究
专知会员服务
34+阅读 · 2023年9月8日
专知会员服务
28+阅读 · 2021年8月15日
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员