Self-supervised learning (SSL) encoders are invaluable intellectual property (IP). However, no existing SSL watermarking for IP protection can concurrently satisfy the following two practical requirements: (1) provide ownership verification capability under black-box suspect model access once the stolen encoders are used in downstream tasks; (2) be robust under adversarial watermark detection or removal, because the watermark samples form a distinguishable out-of-distribution (OOD) cluster. We propose ArmSSL, an SSL watermarking framework that assures black-box verifiability and adversarial robustness while preserving utility. For verification, we introduce paired discrepancy enlargement, enforcing feature-space orthogonality between the clean and its watermark counterpart to produce a reliable verification signal in black-box against the suspect model. For adversarial robustness, ArmSSL integrates latent representation entanglement and distribution alignment to suppress the OOD clustering. The former entangles watermark representations with clean representations (i.e., from non-source-class) to avoid forming a dense cluster of watermark samples, while the latter minimizes the distributional discrepancy between watermark and clean representations, thereby disguising watermark samples as natural in-distribution data. For utility, a reference-guided watermark tuning strategy is designed to allow the watermark to be learned as a small side task without affecting the main task by aligning the watermarked encoder's outputs with those of the original clean encoder on normal data. Extensive experiments across five mainstream SSL frameworks and nine benchmark datasets, along with end-to-end comparisons with SOTAs, demonstrate that ArmSSL achieves superior ownership verification, negligible utility degradation, and strong robustness against various adversarial detection and removal.


翻译:自监督学习(SSL)编码器是宝贵的知识产权(IP)。然而,现有用于IP保护的SSL水印方法无法同时满足以下两个实际需求:(1)当被盗编码器用于下游任务时,能够在黑盒可疑模型访问下提供所有权验证能力;(2)在对抗性水印检测或移除下具有稳健性,因为水印样本会形成可区分的分布外(OOD)聚类。我们提出ArmSSL,一种SSL水印框架,在保持效用的同时确保黑盒可验证性和对抗稳健性。对于验证,我们引入配对差异放大,强制干净表示与其水印对应特征之间的正交性,以在黑盒环境下针对可疑模型产生可靠的验证信号。对于对抗稳健性,ArmSSL整合了潜在表示纠缠和分布对齐以抑制OOD聚类。前者将水印表示与干净表示(即来自非源类)纠缠,避免形成水印样本的密集聚类;后者最小化水印表示与干净表示之间的分布差异,从而将水印样本伪装为自然的分布内数据。对于效用,设计了一种参考引导的水印调优策略,通过使加水印编码器在正常数据上的输出与原始干净编码器的输出对齐,允许水印作为小型辅助任务学习而不影响主任务。在五个主流SSL框架和九个基准数据集上的大量实验,以及与当前最优方法的端到端比较表明,ArmSSL实现了优越的所有权验证、可忽略的效用退化,以及对各种对抗性检测和移除的强大稳健性。

0
下载
关闭预览

相关内容

70页《自监督学习》最新简明指南,图灵奖LeCun等编著
专知会员服务
76+阅读 · 2023年4月26日
【KDD2022】GraphMAE:自监督掩码图自编码器
专知会员服务
23+阅读 · 2022年6月12日
专知会员服务
19+阅读 · 2021年9月4日
对比自监督学习
深度学习自然语言处理
35+阅读 · 2020年7月15日
Xsser 一款自动检测XSS漏洞工具
黑白之道
14+阅读 · 2019年8月26日
【泡泡图灵智库】密集相关的自监督视觉描述学习(RAL)
泡泡机器人SLAM
11+阅读 · 2018年10月6日
【干货】深入理解变分自编码器
专知
21+阅读 · 2018年3月22日
【干货】深入理解自编码器(附代码实现)
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
《量子技术的军事任务技术适配与利用》
专知会员服务
0+阅读 · 10分钟前
美国从乌克兰无人机战争中学习经验
专知会员服务
7+阅读 · 6月21日
ICML 2026 | 面向视觉语言模型的语义鲁棒性认证
专知会员服务
5+阅读 · 6月21日
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员