The rapid advancement of Generative Adversarial Networks (GANs) and diffusion models has enabled the creation of highly realistic synthetic images, presenting significant societal risks, such as misinformation and deception. As a result, detecting AI-generated images has emerged as a critical challenge. Existing researches emphasize extracting fine-grained features to enhance detector generalization, yet they often lack consideration for the importance and interdependencies of internal elements within local regions and are limited to a single frequency domain, hindering the capture of general forgery traces. To overcome the aforementioned limitations, we first utilize a sliding window to restrict the attention mechanism to a local window, and reconstruct the features within the window to model the relationships between neighboring internal elements within the local region. Then, we design a dual frequency domain branch framework consisting of four frequency domain subbands of DWT and the phase part of FFT to enrich the extraction of local forgery features from different perspectives. Through feature enrichment of dual frequency domain branches and fine-grained feature extraction of reconstruction sliding window attention, our method achieves superior generalization detection capabilities on both GAN and diffusion model-based generative images. Evaluated on diverse datasets comprising images from 65 distinct generative models, our approach achieves a 2.13\% improvement in detection accuracy over state-of-the-art methods.


翻译:生成对抗网络(GAN)和扩散模型的快速发展使得生成高度逼真的合成图像成为可能,这带来了重大的社会风险,如虚假信息和欺骗。因此,检测AI生成的图像已成为一项关键挑战。现有研究强调提取细粒度特征以增强检测器的泛化能力,但它们通常缺乏对局部区域内内部元素重要性及相互依赖性的考量,并且仅限于单一频域,这阻碍了对通用伪造痕迹的捕捉。为克服上述局限,我们首先利用滑动窗口将注意力机制限制在局部窗口内,并重构窗口内的特征以建模局部区域内相邻内部元素之间的关系。随后,我们设计了一个双频域分支框架,该框架由DWT的四个频域子带和FFT的相位部分组成,以从不同角度丰富局部伪造特征的提取。通过双频域分支的特征增强以及重构滑动窗口注意力的细粒度特征提取,我们的方法在基于GAN和扩散模型的生成图像上均实现了卓越的泛化检测能力。在包含来自65种不同生成模型的图像组成的多样化数据集上进行评估,我们的方法在检测准确率上比现有最先进方法提高了2.13%。

0
下载
关闭预览

相关内容

【NTU博士论文】基于深度学习的图像与视频生成,146页pdf
专知会员服务
56+阅读 · 2021年9月3日
专知会员服务
96+阅读 · 2021年2月6日
【学界】基于条件深度卷积生成对抗网络的图像识别方法
GAN生成式对抗网络
16+阅读 · 2018年7月26日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
VIP会员
相关VIP内容
【NTU博士论文】基于深度学习的图像与视频生成,146页pdf
专知会员服务
56+阅读 · 2021年9月3日
专知会员服务
96+阅读 · 2021年2月6日
相关资讯
【学界】基于条件深度卷积生成对抗网络的图像识别方法
GAN生成式对抗网络
16+阅读 · 2018年7月26日
相关基金
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员