It is well known that natural language models are vulnerable to adversarial attacks, which are mostly input-specific in nature. Recently, it has been shown that there also exist input-agnostic attacks in NLP models, called universal adversarial triggers. However, existing methods to craft universal triggers are data intensive. They require large amounts of data samples to generate adversarial triggers, which are typically inaccessible by attackers. For instance, previous works take 3000 data samples per class for the SNLI dataset to generate adversarial triggers. In this paper, we present a novel data-free approach, MINIMAL, to mine input-agnostic adversarial triggers from models. Using the triggers produced with our data-free algorithm, we reduce the accuracy of Stanford Sentiment Treebank's positive class from 93.6% to 9.6%. Similarly, for the Stanford Natural Language Inference (SNLI), our single-word trigger reduces the accuracy of the entailment class from 90.95% to less than 0.6\%. Despite being completely data-free, we get equivalent accuracy drops as data-dependent methods.


翻译:众所周知,自然语言模型很容易受到对抗性攻击,而这种攻击大多是针对具体投入的。最近,人们发现,在NLP模型中,也有称为通用对抗触发器的输入-不可知性攻击。然而,现有的制造通用触发器的方法是数据密集的。它们需要大量的数据样本来产生对抗性触发器,而攻击者通常无法进入。例如,以前的工作为SNLI数据集每类取3000个数据样本,以产生对抗性触发器。在本文中,我们提出了一种全新的无数据方法,MINIMAL,即对模型中的地雷输入-不可知性对抗触发器。我们利用用无数据算法生成的触发器,将斯坦福感应树库的正值从93.6%降低到9.6%。同样,对斯坦福自然语言推断(Snastinfast)来说,我们的单字触发器降低了需要级的精确度,从90.95%降低到不到0.6 ⁇ 。尽管我们完全没有数据,但我们作为数据依赖方法,但我们得到同样的精确度下降。

0
下载
关闭预览

相关内容

【新书】图神经网络导论,清华大学刘知远老师著作
专知会员服务
368+阅读 · 2020年6月12日
零样本文本分类,Zero-Shot Learning for Text Classification
专知会员服务
97+阅读 · 2020年5月31日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
60+阅读 · 2019年10月17日
【论文笔记】通俗理解少样本文本分类 (Few-Shot Text Classification) (1)
深度学习自然语言处理
7+阅读 · 2020年4月8日
强化学习三篇论文 避免遗忘等
CreateAMind
20+阅读 · 2019年5月24日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
已删除
将门创投
5+阅读 · 2018年11月15日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Arxiv
6+阅读 · 2021年3月30日
Arxiv
5+阅读 · 2020年10月22日
Adversarial Metric Attack for Person Re-identification
Arxiv
7+阅读 · 2018年6月8日
VIP会员
最新内容
非对称优势:美海军开发低成本反无人机技术
专知会员服务
1+阅读 · 7分钟前
《美战争部小企业创新研究(SBIR)计划》
专知会员服务
1+阅读 · 今天2:48
《军事模拟:将军事条令与目标融入AI智能体》
专知会员服务
3+阅读 · 今天2:43
【NTU博士论文】3D人体动作生成
专知会员服务
4+阅读 · 4月24日
以色列军事技术对美国军力发展的持续性赋能
专知会员服务
8+阅读 · 4月24日
《深度强化学习在兵棋推演中的应用》40页报告
专知会员服务
12+阅读 · 4月24日
《多域作战面临复杂现实》
专知会员服务
9+阅读 · 4月24日
《印度的多域作战:条令与能力发展》报告
专知会员服务
4+阅读 · 4月24日
相关资讯
【论文笔记】通俗理解少样本文本分类 (Few-Shot Text Classification) (1)
深度学习自然语言处理
7+阅读 · 2020年4月8日
强化学习三篇论文 避免遗忘等
CreateAMind
20+阅读 · 2019年5月24日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
已删除
将门创投
5+阅读 · 2018年11月15日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
相关论文
Top
微信扫码咨询专知VIP会员