The rise of model hubs has made it easier to access reusable model components, making model merging a practical tool for combining capabilities. Yet, this modularity also creates a \emph{governance gap}: downstream users can recompose released weights into unauthorized mixtures that bypass safety alignment or licensing terms. Because existing defenses are largely post-hoc and architecture-specific, they provide inconsistent protection across diverse architectures and release formats in practice. To close this gap, we propose \textsc{Trap}$^{2}$, an architecture-agnostic protection framework that encodes protection into the update during fine-tuning, regardless of whether they are released as adapters or full models. Instead of relying on architecture-dependent approaches, \textsc{Trap}$^{2}$ uses weight re-scaling as a simple proxy for the merging process. It keeps released weights effective in standalone use, but degrades them under re-scaling that often arises in merging, undermining unauthorized merging.


翻译:模型中心的兴起使得获取可复用的模型组件变得更加容易,模型合并因此成为整合模型能力的实用工具。然而,这种模块化也造成了**治理缺口**:下游用户可以将已发布的权重重新组合成未经授权的混合模型,从而绕过安全对齐或许可条款。由于现有防御方法大多是事后补救且依赖于特定架构,在实际应用中,它们无法为多样化的架构和发布格式提供一致的保护。为填补这一缺口,我们提出了 \textsc{Trap}$^{2}$,这是一种与架构无关的保护框架,它将保护机制编码到微调期间的更新中,无论模型是以适配器还是完整模型的形式发布。\textsc{Trap}$^{2}$ 不依赖于特定架构的方法,而是将权重重新缩放作为合并过程的简单代理。它使已发布的权重在独立使用时保持有效,但在合并过程中常出现的重新缩放操作下,其性能会下降,从而破坏未经授权的合并。

0
下载
关闭预览

相关内容

《面相混合威胁建模的贝叶斯网络方法》最新报告
专知会员服务
24+阅读 · 2025年7月30日
大模型报告:模型能力决定下限,场景适配度决定上限
专知会员服务
57+阅读 · 2024年6月3日
低质量数据的多模态融合综述
专知会员服务
59+阅读 · 2024年5月4日
【博士论文】生成模型中的可控性与不确定性,214页pdf
专知会员服务
47+阅读 · 2024年3月14日
《大模型对齐方法》最新综述
专知会员服务
85+阅读 · 2024年3月8日
《深度模型融合》综述
专知会员服务
75+阅读 · 2023年9月28日
模型不work怎么办?141页PPT告诉你怎么改模型
专家报告|深度学习+图像多模态融合
中国图象图形学报
12+阅读 · 2019年10月23日
如何理解模型的过拟合与欠拟合,以及如何解决?
七月在线实验室
12+阅读 · 2019年4月23日
用模型不确定性理解模型
论智
11+阅读 · 2018年9月5日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Arxiv
0+阅读 · 1月15日
VIP会员
最新内容
2026“人工智能+”行业发展蓝皮书(附下载)
专知会员服务
5+阅读 · 今天12:11
《强化学习数学基础》
专知会员服务
3+阅读 · 今天12:07
“Maven计划”的发展演变之“Maven智能系统”应用
《无人机革命:来自俄乌战场的启示》(报告)
专知会员服务
7+阅读 · 今天6:48
《实现联合作战能力所需的技术》58页报告
专知会员服务
4+阅读 · 今天6:30
以色列运用人工智能优化空袭警报系统
专知会员服务
4+阅读 · 今天6:20
以色列在多条战线部署AI智能体
专知会员服务
5+阅读 · 今天6:12
相关VIP内容
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员