Collecting web data to train deep models has become increasingly common, raising concerns about unauthorized data usage. To mitigate this issue, unlearnable examples introduce imperceptible perturbations into data, preventing models from learning effectively. However, existing methods typically rely on deep neural networks as surrogate models for perturbation generation, resulting in significant computational costs. In this work, we propose Perturbation-Induced Linearization (PIL), a computationally efficient yet effective method that generates perturbations using only linear surrogate models. PIL achieves comparable or better performance than existing surrogate-based methods while reducing computational time dramatically. We further reveal a key mechanism underlying unlearnable examples: inducing linearization to deep models, which explains why PIL can achieve competitive results in a very short time. Beyond this, we provide an analysis about the property of unlearnable examples under percentage-based partial perturbation. Our work not only provides a practical approach for data protection but also offers insights into what makes unlearnable examples effective.


翻译:利用网络数据训练深度模型已日益普遍,这引发了关于未经授权数据使用的担忧。为缓解此问题,不可学习样本通过向数据中引入难以察觉的扰动来阻止模型有效学习。然而,现有方法通常依赖深度神经网络作为扰动生成的代理模型,导致计算成本高昂。本研究提出扰动诱导线性化(PIL),这是一种计算高效且有效的方法,仅使用线性代理模型生成扰动。PIL在显著减少计算时间的同时,取得了与现有基于代理模型的方法相当或更优的性能。我们进一步揭示了不可学习样本的关键机制:诱导深度模型线性化,这解释了为何PIL能在极短时间内取得有竞争力的结果。此外,我们还分析了基于比例的部分扰动下不可学习样本的特性。本研究不仅为数据保护提供了实用方法,也为理解不可学习样本的有效性机制提供了见解。

0
下载
关闭预览

相关内容

机器学习的可解释性
专知会员服务
179+阅读 · 2020年8月27日
专知会员服务
101+阅读 · 2020年7月20日
「PPT」深度学习中的不确定性估计
专知
27+阅读 · 2019年7月20日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
21+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 1月14日
VIP会员
最新内容
《北约标准:医疗评估手册》174页
专知会员服务
0+阅读 · 13分钟前
《提升生成模型的安全性与保障》博士论文
专知会员服务
0+阅读 · 17分钟前
美国当前高超音速导弹发展概述
专知会员服务
4+阅读 · 4月19日
无人机蜂群建模与仿真方法
专知会员服务
8+阅读 · 4月19日
澳大利亚发布《国防战略(2026年)》
专知会员服务
2+阅读 · 4月19日
全球高超音速武器最新发展趋势
专知会员服务
3+阅读 · 4月19日
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
21+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员