The rapid advancement of AI-generated content (AIGC) has escalated the threat of deepfakes, from facial manipulations to the synthesis of entire photorealistic human bodies. However, existing detection methods remain fragmented, specializing either in facial-region forgeries or full-body synthetic images, and consequently fail to generalize across the full spectrum of human image manipulations. We introduce HuForDet, a holistic framework for human image forgery detection, which features a dual-branch architecture comprising: (1) a face forgery detection branch that employs heterogeneous experts operating in both RGB and frequency domains, including an adaptive Laplacian-of-Gaussian (LoG) module designed to capture artifacts ranging from fine-grained blending boundaries to coarse-scale texture irregularities; and (2) a contextualized forgery detection branch that leverages a Multi-Modal Large Language Model (MLLM) to analyze full-body semantic consistency, enhanced with a confidence estimation mechanism that dynamically weights its contribution during feature fusion. We curate a human image forgery (HuFor) dataset that unifies existing face forgery data with a new corpus of full-body synthetic humans. Extensive experiments show that our HuForDet achieves state-of-the-art forgery detection performance and superior robustness across diverse human image forgeries.


翻译:人工智能生成内容(AIGC)的快速发展加剧了深度伪造的威胁,从面部操纵到整个逼真人体的合成。然而,现有的检测方法仍然存在碎片化问题,要么专门针对面部区域伪造,要么专门针对全身合成图像,因此无法泛化到人类图像操纵的完整谱系。我们提出了HuForDet,一个用于人类图像伪造检测的整体性框架,其特点是采用双分支架构,包括:(1)一个面部伪造检测分支,该分支采用在RGB域和频域中运行的异构专家,包括一个自适应拉普拉斯-高斯(LoG)模块,旨在捕获从细粒度融合边界到粗尺度纹理不规则性的伪影;(2)一个情境化伪造检测分支,该分支利用多模态大语言模型(MLLM)来分析全身语义一致性,并通过一个置信度估计机制进行增强,该机制在特征融合过程中动态加权其贡献。我们策划了一个人类图像伪造(HuFor)数据集,该数据集将现有的面部伪造数据与一个新的全身合成人体语料库统一起来。大量实验表明,我们的HuForDet在多样化的人类图像伪造上实现了最先进的伪造检测性能和卓越的鲁棒性。

0
下载
关闭预览

相关内容

ICLR'21 | GNN联邦学习的新基准
图与推荐
12+阅读 · 2021年11月15日
图机器学习 2.2-2.4 Properties of Networks, Random Graph
图与推荐
10+阅读 · 2020年3月28日
国家自然科学基金
2+阅读 · 2016年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
2+阅读 · 2016年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员