Erasing concepts from large-scale text-to-image (T2I) diffusion models has become increasingly crucial due to the growing concerns over copyright infringement, offensive content, and privacy violations. In scalable applications, fine-tuning-based methods are time-consuming to precisely erase multiple target concepts, while real-time editing-based methods often degrade the generation quality of non-target concepts due to conflicting optimization objectives. To address this dilemma, we introduce SPEED, an efficient concept erasure approach that directly edits model parameters. SPEED searches for a null space, a model editing space where parameter updates do not affect non-target concepts, to achieve scalable and precise erasure. To facilitate accurate null space optimization, we incorporate three complementary strategies: Influence-based Prior Filtering (IPF) to selectively retain the most affected non-target concepts, Directed Prior Augmentation (DPA) to enrich the filtered retain set with semantically consistent variations, and Invariant Equality Constraints (IEC) to preserve key invariants during the T2I generation process. Extensive evaluations across multiple concept erasure tasks demonstrate that SPEED consistently outperforms existing methods in non-target preservation while achieving efficient and high-fidelity concept erasure, successfully erasing 100 concepts within only 5 seconds. Our code and models are available at: https://github.com/Ouxiang-Li/SPEED.


翻译:随着对版权侵权、不当内容及隐私侵犯问题的日益关注,从大规模文本到图像(T2I)扩散模型中擦除特定概念变得愈发重要。在可扩展应用中,基于微调的方法需要耗费大量时间才能精确擦除多个目标概念,而基于实时编辑的方法常因优化目标冲突导致非目标概念的生成质量下降。为解决这一难题,我们提出了SPEED——一种通过直接编辑模型参数实现高效概念擦除的方法。SPEED通过寻找零空间(即参数更新不影响非目标概念的模型编辑空间)来实现可扩展且精确的概念擦除。为实现准确的零空间优化,我们整合了三种互补策略:基于影响度的先验过滤(IPF)选择性保留受影响最显著的非目标概念,定向先验增强(DPA)为过滤后的保留集添加语义一致的变体,以及不变等式约束(IEC)在T2I生成过程中保持关键不变性。在多个概念擦除任务上的广泛评估表明,SPEED在保持非目标概念生成质量方面持续优于现有方法,同时实现了高效且高保真的概念擦除,仅需5秒即可成功擦除100个概念。我们的代码与模型已发布于:https://github.com/Ouxiang-Li/SPEED。

0
下载
关闭预览

相关内容

扩散模型中的缓存方法综述:迈向高效的多模态生成
专知会员服务
8+阅读 · 2025年10月23日
高效扩散模型综述
专知会员服务
34+阅读 · 2025年2月1日
《可信文本到图像扩散模型》最新综述
专知会员服务
27+阅读 · 2024年9月30日
《扩散模型图像编辑》综述
专知会员服务
28+阅读 · 2024年2月28日
视线估计(Gaze Estimation)简介(一):概述
CVer
10+阅读 · 2020年3月18日
深度学习中Attention Mechanism详细介绍:原理、分类及应用
深度学习与NLP
10+阅读 · 2019年2月18日
Fast-OCNet: 更快更好的OCNet.
极市平台
21+阅读 · 2019年2月10日
最新|深度离散哈希算法,可用于图像检索!
全球人工智能
14+阅读 · 2017年12月15日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
23+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Arxiv
0+阅读 · 2月18日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
23+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员