Low-Rank Adaptation (LoRA) has become a widely used mechanism for customizing text-to-image diffusion models, enabling lightweight modules that are shared, reused, and commercialized as independent assets. This LoRA-centric ecosystem shifts copyright protection from foundation models to distributed LoRA modules, which are easy to copy, redistribute, or reuse without authorization. Existing watermarking methods either protect the base diffusion model or require watermark-aware retraining for each target LoRA, limiting their practicality in open community settings. To address this limitation, we propose LoRA-Key, a user-centric LoRA watermarking framework that treats copyright protection as a reusable ownership key. LoRA-Key encapsulates a recoverable secret message into a standalone user-specific Watermark LoRA, which can be attached to different target LoRAs through training-free linear superposition without per-LoRA retraining or structural modification. To train such a reusable key, we first establish a latent watermark prior in the frozen VAE latent space for robust message embedding and recovery, and then optimize the Watermark LoRA with message-conditioned watermark supervision and semantic consistency constraints. We further introduce Gradient Orthogonal Projection (GOP) to suppress watermark updates that conflict with semantic-preserving directions, reducing interference with generation fidelity and downstream style adaptation. Extensive experiments show that LoRA-Key provides lightweight plug-and-play copyright protection while preserving generation quality and style fidelity, and maintains robust ownership verification under image-level distortions, downstream fine-tuning, and multi-LoRA composition.


翻译:低秩适应(LoRA)已成为定制文本到图像扩散模型的广泛使用的机制,能够生成可作为独立资产共享、复用和商业化的轻量级模块。这一以LoRA为核心的生态系统将版权保护从基础模型转移到分布式LoRA模块上,而这些模块极易被未经授权地复制、分发或复用。现有水印方法要么保护基础扩散模型,要么需要对每个目标LoRA进行水印感知的重训练,限制了它们在开放社区场景中的实用性。为解决这一局限,我们提出LoRA-Key——一种以用户为中心的LoRA水印框架,将版权保护视为可复用的所有权密钥。LoRA-Key将可恢复的秘密信息封装到独立的用户特定水印LoRA中,该模块可通过无需训练的线性叠加附加到不同目标LoRA上,无需对每个LoRA单独重训练或修改结构。为训练这种可复用密钥,我们首先在冻结的VAE潜在空间中建立潜在水印先验以实现鲁棒的消息嵌入与恢复,进而通过消息条件水印监督与语义一致性约束优化水印LoRA。我们进一步引入梯度正交投影(GOP)以抑制与语义保持方向冲突的水印更新,减少对生成保真度与下游风格适配的干扰。大量实验表明,LoRA-Key在保持生成质量与风格保真度的同时提供轻量级即插即用版权保护,并在图像级失真、下游微调及多LoRA组合场景下维持鲁棒的所有权验证。

0
下载
关闭预览

相关内容

面向低光照图像增强的扩散模型
专知会员服务
16+阅读 · 2025年10月11日
扩散模型时代的可视水印:进展与挑战
专知会员服务
7+阅读 · 2025年5月17日
【ICLR2025】大型语言模型的动态低秩稀疏适应
专知会员服务
14+阅读 · 2025年2月21日
【ICLR2025】RANDLORA: 全秩参数高效微调大规模模型
专知会员服务
15+阅读 · 2025年2月4日
大语言模型的LoRA研究综述
专知会员服务
55+阅读 · 2024年7月17日
大模型时代下的文本水印综述
专知会员服务
35+阅读 · 2024年1月26日
【ICLR2024】MathVista:视觉背景下基础模型的数学推理评估
专知会员服务
35+阅读 · 2024年1月20日
图机器学习经典算法 louvain 完全解读
图与推荐
11+阅读 · 2020年8月10日
“推荐系统”加上“图神经网络”
机器学习与推荐算法
12+阅读 · 2020年3月23日
高效的文本生成方法 — LaserTagger 现已开源
TensorFlow
30+阅读 · 2020年2月27日
读扩散?写扩散?推拉架构一文搞定!
架构师之路
17+阅读 · 2019年2月1日
用Rasa NLU构建自己的中文NLU系统
待字闺中
18+阅读 · 2017年9月18日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
4+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
6+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
3+阅读 · 6月17日
相关VIP内容
面向低光照图像增强的扩散模型
专知会员服务
16+阅读 · 2025年10月11日
扩散模型时代的可视水印:进展与挑战
专知会员服务
7+阅读 · 2025年5月17日
【ICLR2025】大型语言模型的动态低秩稀疏适应
专知会员服务
14+阅读 · 2025年2月21日
【ICLR2025】RANDLORA: 全秩参数高效微调大规模模型
专知会员服务
15+阅读 · 2025年2月4日
大语言模型的LoRA研究综述
专知会员服务
55+阅读 · 2024年7月17日
大模型时代下的文本水印综述
专知会员服务
35+阅读 · 2024年1月26日
【ICLR2024】MathVista:视觉背景下基础模型的数学推理评估
专知会员服务
35+阅读 · 2024年1月20日
相关资讯
图机器学习经典算法 louvain 完全解读
图与推荐
11+阅读 · 2020年8月10日
“推荐系统”加上“图神经网络”
机器学习与推荐算法
12+阅读 · 2020年3月23日
高效的文本生成方法 — LaserTagger 现已开源
TensorFlow
30+阅读 · 2020年2月27日
读扩散?写扩散?推拉架构一文搞定!
架构师之路
17+阅读 · 2019年2月1日
用Rasa NLU构建自己的中文NLU系统
待字闺中
18+阅读 · 2017年9月18日
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员