The rapid proliferation of pretrained models and open repositories has made model merging a convenient yet risky practice, allowing free-riders to combine fine-tuned models into a new multi-capability model without authorization. Such unauthorized model merging not only violates intellectual property rights but also undermines model ownership and accountability. To address this issue, we present MergeGuard, a proactive dual-stage weight protection framework that disrupts merging compatibility while maintaining task fidelity. In the first stage, we redistribute task-relevant information across layers via L2-regularized optimization, ensuring that important gradients are evenly dispersed. In the second stage, we inject structured perturbations to misalign task subspaces, breaking curvature compatibility in the loss landscape. Together, these stages reshape the model's parameter geometry such that merged models collapse into destructive interference while the protected model remains fully functional. Extensive experiments on both vision (ViT-L-14) and language (Llama2, Gemma2, Mistral) models demonstrate that MergeGuard reduces merged model accuracy by up to 90% with less than 1.5% performance loss on the protected model.


翻译:预训练模型与开源存储库的快速扩散使得模型合并成为一种便捷但存在风险的做法,允许搭便车者未经授权地将微调模型组合成新的多能力模型。此类未经授权的模型合并不仅侵犯知识产权,还损害模型所有权与责任归属。为解决这一问题,我们提出MergeGuard——一种主动式双阶段权重保护框架,该框架能在保持任务保真度的同时破坏合并兼容性。在第一阶段,我们通过L2正则化优化将任务相关信息重新分布至各网络层,确保重要梯度均匀分散。在第二阶段,我们注入结构化扰动以错位任务子空间,从而破坏损失函数曲面的曲率兼容性。这两个阶段共同重塑模型的参数几何结构,使得合并模型陷入破坏性干扰而失效,而受保护模型仍能保持完整功能。在视觉模型(ViT-L-14)与语言模型(Llama2、Gemma2、Mistral)上的大量实验表明,MergeGuard能将合并模型准确率降低达90%,同时受保护模型的性能损失低于1.5%。

0
下载
关闭预览

相关内容

《深度模型融合》综述
专知会员服务
75+阅读 · 2023年9月28日
专知会员服务
21+阅读 · 2021年8月17日
专家报告|深度学习+图像多模态融合
中国图象图形学报
12+阅读 · 2019年10月23日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
36+阅读 · 2013年12月31日
VIP会员
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
36+阅读 · 2013年12月31日
Top
微信扫码咨询专知VIP会员