Collecting web data to train deep models has become increasingly common, raising concerns about unauthorized data usage. To mitigate this issue, unlearnable examples introduce imperceptible perturbations into data, preventing models from learning effectively. However, existing methods typically rely on deep neural networks as surrogate models for perturbation generation, resulting in significant computational costs. In this work, we propose Perturbation-Induced Linearization (PIL), a computationally efficient yet effective method that generates perturbations using only linear surrogate models. PIL achieves comparable or better performance than existing surrogate-based methods while reducing computational time dramatically. We further reveal a key mechanism underlying unlearnable examples: inducing linearization to deep models, which explains why PIL can achieve competitive results in a very short time. Beyond this, we provide an analysis about the property of unlearnable examples under percentage-based partial perturbation. Our work not only provides a practical approach for data protection but also offers insights into what makes unlearnable examples effective.


翻译:利用网络数据训练深度模型已日益普遍,这引发了关于未经授权数据使用的担忧。为缓解此问题,不可学习样本通过向数据中引入难以察觉的扰动来阻止模型有效学习。然而,现有方法通常依赖深度神经网络作为扰动生成的代理模型,导致计算成本高昂。本研究提出扰动诱导线性化(PIL),这是一种计算高效且有效的方法,仅使用线性代理模型生成扰动。PIL在显著减少计算时间的同时,取得了与现有基于代理模型的方法相当或更优的性能。我们进一步揭示了不可学习样本的关键机制:诱导深度模型线性化,这解释了为何PIL能在极短时间内取得有竞争力的结果。此外,我们还分析了基于比例的部分扰动下不可学习样本的特性。本研究不仅为数据保护提供了实用方法,也为理解不可学习样本的有效性机制提供了见解。

0
下载
关闭预览

相关内容

机器学习的可解释性
专知会员服务
179+阅读 · 2020年8月27日
专知会员服务
101+阅读 · 2020年7月20日
「PPT」深度学习中的不确定性估计
专知
27+阅读 · 2019年7月20日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
21+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 1月14日
VIP会员
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
21+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员