Multimodal misinformation increasingly mixes realistic im-age edits with fluent but misleading text, producing persuasive posts that are difficult to verify. Existing systems usually rely on a single evidence source. Content-based detectors identify local inconsistencies within an image and its caption but cannot determine global factual truth. Retrieval-based fact-checkers reason over external evidence but treat inputs as coarse claims and often miss subtle visual or textual manipulations. This separation creates failure cases where internally consistent fabrications bypass manipulation detectors and fact-checkers verify claims that contain pixel-level or token-level corruption. We present D-SECURE, a framework that combines internal manipulation detection with external evidence-based reasoning for news-style posts. D-SECURE integrates the HAMMER manipulation detector with the DEFAME retrieval pipeline. DEFAME performs broad verification, and HAMMER analyses residual or uncertain cases that may contain fine-grained edits. Experiments on DGM4 and ClaimReview samples highlight the complementary strengths of both systems and motivate their fusion. We provide a unified, explainable report that incorporates manipulation cues and external evidence.


翻译:多模态虚假信息越来越多地将逼真的图像编辑与流畅但具有误导性的文本相结合,产生难以核实的说服性帖子。现有系统通常依赖单一证据源。基于内容的检测器识别图像及其标题中的局部不一致性,但无法判断全局事实真伪。基于检索的事实核查器则依据外部证据进行推理,但将输入视为粗略声明,常常忽略细微的视觉或文本篡改。这种分离导致失败案例:内部一致但虚构的内容绕过篡改检测器,而事实核查器可能验证包含像素级或词元级篡改的声明。我们提出D-SECURE框架,该框架将内部篡改检测与基于外部证据的推理相结合,适用于新闻类帖子。D-SECURE整合了HAMMER篡改检测器与DEFAME检索流程。DEFAME执行广泛验证,HAMMER则分析可能包含细粒度编辑的残留或不确定案例。在DGM4和ClaimReview样本上的实验凸显了两个系统的互补优势,并论证了其融合的必要性。我们提供了一种统一的、可解释的报告格式,该报告融合了篡改线索与外部证据。

0
下载
关闭预览

相关内容

DGP双粒度提示框架:图增强大模型助力欺诈检测
专知会员服务
9+阅读 · 2025年8月17日
虚假信息检测综述
专知会员服务
8+阅读 · 2025年7月9日
《多模态假新闻检测框架》2023最新80页论文
专知会员服务
44+阅读 · 2023年10月30日
基于多模态学习的虚假新闻检测研究
专知会员服务
34+阅读 · 2023年9月8日
专知会员服务
23+阅读 · 2021年9月23日
专知会员服务
34+阅读 · 2021年9月14日
专知会员服务
28+阅读 · 2021年8月15日
ISWC2020最佳论文《可解释假信息检测的链接可信度评价》
【CVPR2021】跨模态检索的概率嵌入
专知
17+阅读 · 2021年3月2日
异常检测(Anomaly Detection)综述
极市平台
20+阅读 · 2020年10月24日
跨多个异构数据源的实体对齐
FCS
15+阅读 · 2019年3月13日
热点! 虚假新闻检测综述
专知
111+阅读 · 2019年2月26日
一文看懂虚假新闻检测(附数据集 & 论文推荐)
PaperWeekly
36+阅读 · 2019年2月19日
揭秘AI识别虚假新闻背后的原理
DeepTech深科技
10+阅读 · 2018年8月5日
侦测欺诈交易(异常点检测)
GBASE数据工程部数据团队
20+阅读 · 2017年5月10日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
19+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
VIP会员
相关VIP内容
DGP双粒度提示框架:图增强大模型助力欺诈检测
专知会员服务
9+阅读 · 2025年8月17日
虚假信息检测综述
专知会员服务
8+阅读 · 2025年7月9日
《多模态假新闻检测框架》2023最新80页论文
专知会员服务
44+阅读 · 2023年10月30日
基于多模态学习的虚假新闻检测研究
专知会员服务
34+阅读 · 2023年9月8日
专知会员服务
23+阅读 · 2021年9月23日
专知会员服务
34+阅读 · 2021年9月14日
专知会员服务
28+阅读 · 2021年8月15日
ISWC2020最佳论文《可解释假信息检测的链接可信度评价》
相关资讯
【CVPR2021】跨模态检索的概率嵌入
专知
17+阅读 · 2021年3月2日
异常检测(Anomaly Detection)综述
极市平台
20+阅读 · 2020年10月24日
跨多个异构数据源的实体对齐
FCS
15+阅读 · 2019年3月13日
热点! 虚假新闻检测综述
专知
111+阅读 · 2019年2月26日
一文看懂虚假新闻检测(附数据集 & 论文推荐)
PaperWeekly
36+阅读 · 2019年2月19日
揭秘AI识别虚假新闻背后的原理
DeepTech深科技
10+阅读 · 2018年8月5日
侦测欺诈交易(异常点检测)
GBASE数据工程部数据团队
20+阅读 · 2017年5月10日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
19+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员