Recent advances in large-scale diffusion models have intensified concerns about their potential misuse, particularly in generating realistic yet harmful or socially disruptive content. This challenge has spurred growing interest in effective machine unlearning, the process of selectively removing specific knowledge or concepts from a model without compromising its overall generative capabilities. Among various approaches, Low-Rank Adaptation (LoRA) has emerged as an effective and efficient method for fine-tuning models toward targeted unlearning. However, LoRA-based methods often exhibit limited adaptability to concept semantics and struggle to balance removing closely related concepts with maintaining generalization across broader meanings. Moreover, these methods face scalability challenges when multiple concepts must be erased simultaneously. To address these limitations, we introduce UnHype, a framework that incorporates hypernetworks into single- and multi-concept LoRA training. The proposed architecture can be directly plugged into Stable Diffusion as well as modern flow-based text-to-image models, where it demonstrates stable training behavior and effective concept control. During inference, the hypernetwork dynamically generates adaptive LoRA weights based on the CLIP embedding, enabling more context-aware, scalable unlearning. We evaluate UnHype across several challenging tasks, including object erasure, celebrity erasure, and explicit content removal, demonstrating its effectiveness and versatility. Repository: https://github.com/gmum/UnHype.


翻译:近年来,大规模扩散模型的进展加剧了对其潜在滥用的担忧,尤其是在生成逼真但有害或具有社会破坏性内容方面。这一挑战促使人们对有效的机器遗忘学习产生日益增长的兴趣——该过程旨在从模型中选择性移除特定知识或概念,同时不损害其整体生成能力。在各种方法中,低秩自适应(LoRA)已成为实现针对性遗忘学习的有效且高效的微调方法。然而,基于LoRA的方法通常对概念语义的适应性有限,难以在移除紧密相关概念与保持更广泛语义的泛化能力之间取得平衡。此外,当需要同时擦除多个概念时,这些方法面临可扩展性挑战。为应对这些局限性,我们提出UnHype框架,将超网络融入单概念与多概念的LoRA训练中。该架构可直接嵌入Stable Diffusion及现代基于流的文生图模型,并表现出稳定的训练行为和有效的概念控制能力。在推理阶段,超网络根据CLIP嵌入动态生成自适应LoRA权重,实现更具上下文感知能力的可扩展遗忘学习。我们在多个挑战性任务中评估UnHype,包括物体擦除、名人擦除和敏感内容移除,验证了其有效性与通用性。代码仓库:https://github.com/gmum/UnHype。

0
下载
关闭预览

相关内容

【NeurIPS2024】《应对在线持续学习中的合成数据污染》
专知会员服务
19+阅读 · 2024年11月23日
【Uber AI新论文】持续元学习,Learning to Continually Learn
专知会员服务
37+阅读 · 2020年2月27日
PlaNet 简介:用于强化学习的深度规划网络
谷歌开发者
13+阅读 · 2019年3月16日
迁移学习在深度学习中的应用
专知
24+阅读 · 2017年12月24日
国家自然科学基金
4+阅读 · 2017年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
31+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2013年12月31日
国家自然科学基金
11+阅读 · 2013年12月31日
Arxiv
0+阅读 · 1月30日
VIP会员
相关基金
国家自然科学基金
4+阅读 · 2017年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
31+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2013年12月31日
国家自然科学基金
11+阅读 · 2013年12月31日
Top
微信扫码咨询专知VIP会员