Diffusion models enable high-fidelity image editing but can also be misused for unauthorized style imitation and harmful content generation. To mitigate these risks, proactive image protection methods embed small, often imperceptible adversarial perturbations into images before sharing to disrupt downstream editing or fine-tuning. However, in realistic post-release scenarios, content owners cannot control downstream processing pipelines, and protections optimized for a surrogate model may fail when attackers use mismatched diffusion pipelines. Existing purification methods can weaken protections but often sacrifice image quality and rarely examine architectural mismatch. We introduce a unified post-release purification framework to evaluate protection survivability under model mismatch. We propose two practical purifiers: VAE-Trans, which corrects protected images via latent-space projection, and EditorClean, which performs instruction-guided reconstruction with a Diffusion Transformer to exploit architectural heterogeneity. Both operate without access to protected images or defense internals. Across 2,100 editing tasks and six representative protection methods, EditorClean consistently restores editability. Compared to protected inputs, it improves PSNR by 3-6 dB and reduces FID by 50-70 percent on downstream edits, while outperforming prior purification baselines by about 2 dB PSNR and 30 percent lower FID. Our results reveal a purify-once, edit-freely failure mode: once purification succeeds, the protective signal is largely removed, enabling unrestricted editing. This highlights the need to evaluate protections under model mismatch and design defenses robust to heterogeneous attackers.


翻译:扩散模型能够实现高保真度的图像编辑,但也可能被滥用于未经授权的风格模仿和有害内容生成。为降低这些风险,主动式图像保护方法在分享图像前嵌入微小且通常难以察觉的对抗性扰动,以干扰下游编辑或微调过程。然而,在实际发布后的场景中,内容所有者无法控制下游处理流程,且针对代理模型优化的保护措施在攻击者使用不匹配的扩散流程时可能失效。现有的净化方法虽能削弱保护,但常以牺牲图像质量为代价,且很少考虑架构不匹配问题。本文提出一个统一的发布后净化框架,用于评估模型不匹配情况下保护的生存能力。我们提出了两种实用的净化器:VAE-Trans通过潜在空间投影校正受保护图像;EditorClean则利用扩散Transformer进行指令引导的重建,以利用架构异质性。两者均无需访问受保护图像或防御机制内部信息。在2,100项编辑任务和六种代表性保护方法上,EditorClean持续恢复了可编辑性。与受保护输入相比,它在下游编辑中将PSNR提升了3-6 dB,将FID降低了50-70%,同时以约2 dB的PSNR优势和30%更低的FID优于先前的净化基线方法。我们的结果揭示了一种“一次净化,自由编辑”的失效模式:一旦净化成功,保护信号即被大幅消除,从而实现无限制的编辑。这凸显了在模型不匹配条件下评估保护措施、并设计对异构攻击者鲁棒的防御机制的必要性。

0
下载
关闭预览

相关内容

【CVPR2025】基于组合表示移植的图像编辑方法
专知会员服务
8+阅读 · 2025年4月5日
【NeurIPS2024】《应对在线持续学习中的合成数据污染》
专知会员服务
19+阅读 · 2024年11月23日
《扩散模型图像编辑》综述
专知会员服务
28+阅读 · 2024年2月28日
一行命令搞定图像质量评价
计算机视觉life
12+阅读 · 2019年12月31日
CVPR 2019 | 无监督领域特定单图像去模糊
PaperWeekly
14+阅读 · 2019年3月20日
Deep Image Prior——图像恢复入门
中国人工智能学会
15+阅读 · 2019年2月16日
无需干净样本,英伟达AI去马赛克
AR酱
10+阅读 · 2018年7月13日
一文读懂图像压缩算法
七月在线实验室
17+阅读 · 2018年5月2日
图像降噪算法介绍及实现汇总
极市平台
26+阅读 · 2018年1月3日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
世界动作模型: 具身AI的下一个前沿
专知会员服务
1+阅读 · 今天12:28
全球十大防空反导系统:列表、射程与用途
专知会员服务
10+阅读 · 今天3:53
相关资讯
一行命令搞定图像质量评价
计算机视觉life
12+阅读 · 2019年12月31日
CVPR 2019 | 无监督领域特定单图像去模糊
PaperWeekly
14+阅读 · 2019年3月20日
Deep Image Prior——图像恢复入门
中国人工智能学会
15+阅读 · 2019年2月16日
无需干净样本,英伟达AI去马赛克
AR酱
10+阅读 · 2018年7月13日
一文读懂图像压缩算法
七月在线实验室
17+阅读 · 2018年5月2日
图像降噪算法介绍及实现汇总
极市平台
26+阅读 · 2018年1月3日
相关基金
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员