Detecting unknown deepfake manipulations remains one of the most challenging problems in face forgery detection. Current state-of-the-art approaches fail to generalize to unseen manipulations, as they primarily rely on supervised training with existing deepfakes or pseudo-fakes, which leads to overfitting to specific forgery patterns. In contrast, self-supervised methods offer greater potential for generalization, but existing work struggles to learn discriminative representations only from self-supervision. In this paper, we propose ExposeAnyone, a fully self-supervised approach based on a diffusion model that generates expression sequences from audio. The key idea is, once the model is personalized to specific subjects using reference sets, it can compute the identity distances between suspected videos and personalized subjects via diffusion reconstruction errors, enabling person-of-interest face forgery detection. Extensive experiments demonstrate that 1) our method outperforms the previous state-of-the-art method by 4.22 percentage points in the average AUC on DF-TIMIT, DFDCP, KoDF, and IDForge datasets, 2) our model is also capable of detecting Sora2-generated videos, where the previous approaches perform poorly, and 3) our method is highly robust to corruptions such as blur and compression, highlighting the applicability in real-world face forgery detection.


翻译:检测未知的深度伪造操作仍然是人脸伪造检测中最具挑战性的问题之一。当前最先进的方法无法泛化到未见过的伪造操作,因为它们主要依赖于对现有深度伪造或伪伪造的监督训练,这导致了对特定伪造模式的过拟合。相比之下,自监督方法具有更大的泛化潜力,但现有工作难以仅从自监督中学习到具有判别性的表征。在本文中,我们提出了ExposeAnyone,一种基于扩散模型的完全自监督方法,该模型能够从音频生成表情序列。其核心思想是,一旦模型使用参考集针对特定主体进行个性化,它就可以通过扩散重建误差计算可疑视频与个性化主体之间的身份距离,从而实现针对特定关注对象的人脸伪造检测。大量实验表明:1) 我们的方法在DF-TIMIT、DFDCP、KoDF和IDForge数据集上的平均AUC比之前最先进的方法高出4.22个百分点;2) 我们的模型还能够检测Sora2生成的视频,而之前的方法在此类视频上表现不佳;3) 我们的方法对模糊和压缩等图像退化具有高度鲁棒性,凸显了其在现实世界人脸伪造检测中的适用性。

0
下载
关闭预览

相关内容

【ACMMM2025】EvoVLMA: 进化式视觉-语言模型自适应
专知会员服务
15+阅读 · 2025年8月5日
ChatAug: 利用ChatGPT进行文本数据增强
专知会员服务
81+阅读 · 2023年3月4日
Python图像处理,366页pdf,Image Operators Image Processing in Python
国家自然科学基金
17+阅读 · 2017年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
17+阅读 · 2017年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员