The rapid advancements in generative AI technologies, such as Stable Diffusion, DALL-E, and Midjourney, have significantly transformed the creation of synthetic visual content. While these models enable innovation across industries, they also pose serious challenges, including misinformation, disinformation, and biased content generation. The increasing realism of AI-generated images makes their detection a pressing concern for researchers, policymakers, and industry stakeholders. In this paper, we present the findings of the Defactify 4.0 workshop, which introduced the Counter Turing Test (CT2) for AI-Generated Image Detection. The competition consisted of two key tasks: (1) binary classification of images as either AI-generated or real and (2) identification of the specific generative model responsible for an AI-generated image. To facilitate this, we developed the MS COCOAI dataset, consisting of 50,000 synthetic images from multiple generative models alongside real-world images from the MS COCO dataset. Participants employed diverse detection strategies, including convolutional neural networks (CNNs), Vision Transformers (ViTs), frequency-based analysis, contrastive learning, and multimodal techniques. The results demonstrated that while AI-generated images can be detected with high accuracy (F1-score > 0.83), identifying the exact model used remains significantly more challenging (highest F1-score: 0.4986). These findings highlight the need for improved model fingerprinting, adversarial robustness, and real-time detection mechanisms.


翻译:生成式AI技术(如Stable Diffusion、DALL-E和Midjourney)的快速发展,显著改变了合成视觉内容的创作方式。尽管这些模型推动了各行各业的创新,但也带来了严重挑战,包括虚假信息、误导性内容以及有偏见的生成内容。AI生成图像日益逼真的特性,使其检测成为研究人员、政策制定者和行业利益相关者亟待解决的问题。本文介绍了Defactify 4.0研讨会的发现,该研讨会提出了用于AI生成图像检测的反图灵测试(CT2)。竞赛包含两项关键任务:(1)对图像进行AI生成或真实的二分类;(2)识别生成AI图像的具体生成模型。为此,我们构建了MS COCOAI数据集,包含来自多个生成模型的50,000张合成图像以及MS COCO数据集中的真实图像。参赛者采用了多种检测策略,包括卷积神经网络(CNN)、视觉变换器(ViT)、基于频率的分析、对比学习以及多模态技术。结果表明,虽然AI生成图像能够以高准确率(F1分数>0.83)被检测出,但识别具体生成模型仍更具挑战性(最高F1分数为0.4986)。这些发现凸显了改进模型指纹识别、对抗鲁棒性以及实时检测机制的迫切需求。

0
下载
关闭预览

相关内容

人工智能杂志AI(Artificial Intelligence)是目前公认的发表该领域最新研究成果的主要国际论坛。该期刊欢迎有关AI广泛方面的论文,这些论文构成了整个领域的进步,也欢迎介绍人工智能应用的论文,但重点应该放在新的和新颖的人工智能方法如何提高应用领域的性能,而不是介绍传统人工智能方法的另一个应用。关于应用的论文应该描述一个原则性的解决方案,强调其新颖性,并对正在开发的人工智能技术进行深入的评估。 官网地址:http://dblp.uni-trier.de/db/journals/ai/
面向 AI 生成图像的安全与鲁棒水印:全面综述
专知会员服务
14+阅读 · 2025年10月6日
视觉中的生成物理人工智能:综述
专知会员服务
36+阅读 · 2025年1月26日
【TPAMI 2023】生成式AI与图像合成综述发布!
专知会员服务
49+阅读 · 2023年9月7日
生成式人工智能,40页pdf
专知会员服务
104+阅读 · 2023年8月19日
Image Captioning 36页最新综述, 161篇参考文献
专知
90+阅读 · 2018年10月23日
国家自然科学基金
4+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
4+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
6+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
3+阅读 · 6月17日
相关VIP内容
面向 AI 生成图像的安全与鲁棒水印:全面综述
专知会员服务
14+阅读 · 2025年10月6日
视觉中的生成物理人工智能:综述
专知会员服务
36+阅读 · 2025年1月26日
【TPAMI 2023】生成式AI与图像合成综述发布!
专知会员服务
49+阅读 · 2023年9月7日
生成式人工智能,40页pdf
专知会员服务
104+阅读 · 2023年8月19日
相关资讯
Image Captioning 36页最新综述, 161篇参考文献
专知
90+阅读 · 2018年10月23日
相关基金
国家自然科学基金
4+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员