The malicious misuse and widespread dissemination of AI-generated images pose a significant threat to the authenticity of online information. Current detection methods often struggle to generalize to unseen generative models, and the rapid evolution of generative techniques continuously exacerbates this challenge. Without adaptability, detection models risk becoming ineffective in real-world applications. To address this critical issue, we propose a novel three-stage domain continual learning framework designed for continuous adaptation to evolving generative models. In the first stage, we employ a strategic parameter-efficient fine-tuning approach to develop a transferable offline detection model with strong generalization capabilities. Building upon this foundation, the second stage integrates unseen data streams into a continual learning process. To efficiently learn from limited samples of novel generated models and mitigate overfitting, we design a data augmentation chain with progressively increasing complexity. Furthermore, we leverage the Kronecker-Factored Approximate Curvature (K-FAC) method to approximate the Hessian and alleviate catastrophic forgetting. Finally, the third stage utilizes a linear interpolation strategy based on Linear Mode Connectivity, effectively capturing commonalities across diverse generative models and further enhancing overall performance. We establish a comprehensive benchmark of 27 generative models, including GANs, deepfakes, and diffusion models, chronologically structured up to August 2024 to simulate real-world scenarios. Extensive experiments demonstrate that our initial offline detectors surpass the leading baseline by +5.51% in terms of mean average precision. Our continual learning strategy achieves an average accuracy of 92.20%, outperforming state-of-the-art methods.


翻译:AI生成图像的恶意滥用与广泛传播对网络信息的真实性构成严重威胁。现有检测方法通常难以泛化至未见过的生成模型,而生成技术的快速演进持续加剧这一挑战。若缺乏适应性,检测模型在实际应用中可能失效。为应对这一关键问题,我们提出一种新颖的三阶段领域持续学习框架,旨在持续适应不断演进的生成模型。第一阶段采用参数高效微调策略,构建具有强泛化能力的可迁移离线检测模型。在此基础上,第二阶段将未见数据流整合至持续学习流程中。为从新型生成模型的有限样本中高效学习并缓解过拟合,我们设计了复杂度渐进增加的数据增强链。此外,利用Kronecker分解近似曲率方法近似海森矩阵以减轻灾难性遗忘。第三阶段采用基于线性模式连通性的线性插值策略,有效捕捉不同生成模型间的共性特征,进一步提升整体性能。我们构建了包含27个生成模型的综合基准集(涵盖GAN、深度伪造及扩散模型),按时间顺序组织至2024年8月以模拟真实场景。大量实验表明:我们的初始离线检测器在平均精度均值指标上超越主流基线方法+5.51%;持续学习策略实现92.20%的平均准确率,优于现有最优方法。

0
下载
关闭预览

相关内容

《人工智能:生成式AI的环境与人文影响》最新47页报告
专知会员服务
16+阅读 · 2025年7月15日
【NeurIPS2024】《应对在线持续学习中的合成数据污染》
专知会员服务
19+阅读 · 2024年11月23日
对抗机器学习在网络入侵检测领域的应用
专知会员服务
35+阅读 · 2022年1月4日
重磅!AI框架发展白皮书(2022年),44页pdf
专知
28+阅读 · 2022年2月27日
爱奇艺基于AI的移动端自动化测试框架的设计
前端之巅
18+阅读 · 2019年2月27日
深度学习时代的图模型,清华发文综述图网络
GAN生成式对抗网络
13+阅读 · 2018年12月23日
AI综述专栏 | 基于深度学习的目标检测算法综述
人工智能前沿讲习班
12+阅读 · 2018年12月7日
干货 | 基于深度学习的目标检测算法综述(二)
AI科技评论
21+阅读 · 2018年8月20日
国家自然科学基金
4+阅读 · 2017年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
13+阅读 · 2014年12月31日
VIP会员
相关VIP内容
《人工智能:生成式AI的环境与人文影响》最新47页报告
专知会员服务
16+阅读 · 2025年7月15日
【NeurIPS2024】《应对在线持续学习中的合成数据污染》
专知会员服务
19+阅读 · 2024年11月23日
对抗机器学习在网络入侵检测领域的应用
专知会员服务
35+阅读 · 2022年1月4日
相关基金
国家自然科学基金
4+阅读 · 2017年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
13+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员