该论文提出一种面向词替换攻击的对抗训练方法。该方法先将词替换攻击建模为词向量空间上的凸包络,并香农熵对凸组合参数进行正则,提出了对抗稀疏凸组合模型,该模型可以贴合语言的规律,高效地生成对抗句子,以攻击已有深度语言模型。随后,将该模型与对抗训练整合实现不易被攻击的鲁棒模型训练。相比之前的方法,该模型有如下的好处:1)包含所有可能出现的对抗噪声。2)凸集利于优化 3)替换词组集合的数量最小。论文提出的防御方法在情感分类和语言推断任务中均有较大的鲁棒性提升

论文由新加坡南洋理工大学董新帅同学、日本国立信息学研究所刘弘博士、厦门大学纪荣嵘教授、以及麻省理工学院的Anh Tuan Luu博士合作完成。论文中的董新帅同学和刘弘博士皆为厦门大学MAC实验室毕业学生,通讯作者是纪荣嵘教授。

https://openreview.net/forum?id=ks5nebunVn_

成为VIP会员查看完整内容
21

相关内容

自然语言处理(NLP)是语言学,计算机科学,信息工程和人工智能的一个子领域,与计算机和人类(自然)语言之间的相互作用有关,尤其是如何对计算机进行编程以处理和分析大量自然语言数据 。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
【AAAI2021】组合对抗攻击
专知会员服务
51+阅读 · 2021年2月17日
专知会员服务
19+阅读 · 2021年2月8日
【ICLR2021】神经元注意力蒸馏消除DNN中的后门触发器
专知会员服务
15+阅读 · 2021年1月31日
专知会员服务
26+阅读 · 2021年1月21日
专知会员服务
42+阅读 · 2021年1月18日
[NeurIPS 2020]对图神经网络更实际的对抗式攻击
专知会员服务
9+阅读 · 2020年11月1日
【综述】基于图的对抗式攻击和防御,附22页论文下载
专知会员服务
69+阅读 · 2020年3月5日
对抗攻击之利用水印生成对抗样本
计算机视觉life
10+阅读 · 2020年9月27日
虚拟对抗训练:一种新颖的半监督学习正则化方法
人工智能前沿讲习班
8+阅读 · 2019年6月9日
一文读懂文本处理中的对抗训练
PaperWeekly
22+阅读 · 2019年6月5日
CVPR 2019 | 图像压缩重建也能抵御对抗样本
计算机视觉life
3+阅读 · 2019年4月26日
论文浅尝 | 远程监督关系抽取的生成式对抗训练
开放知识图谱
17+阅读 · 2018年7月12日
基于典型相关分析的词向量
AI研习社
7+阅读 · 2017年12月24日
Arxiv
0+阅读 · 2021年3月29日
Knowledge Distillation from Internal Representations
Arxiv
4+阅读 · 2019年10月8日
Arxiv
5+阅读 · 2018年5月21日
VIP会员
最新内容
世界模型入门:从序贯决策到通用智能体
专知会员服务
8+阅读 · 10月24日
军事域更好使用人工智能的实用指南
专知会员服务
10+阅读 · 10月22日
《衡量语言模型中的作战规划能力》
专知会员服务
14+阅读 · 10月20日
Maven智能系统:帕兰提尔军事人工智能平台详解
专知会员服务
17+阅读 · 10月20日
《测试自动化框架在敏捷软件开发中的角色》
专知会员服务
9+阅读 · 10月20日
俄罗斯如何拦截乌克兰无人机与巡航导弹
专知会员服务
13+阅读 · 10月15日
《武器-目标分配问题:精确与近似求解算法》
专知会员服务
19+阅读 · 10月15日
相关VIP内容
【AAAI2021】组合对抗攻击
专知会员服务
51+阅读 · 2021年2月17日
专知会员服务
19+阅读 · 2021年2月8日
【ICLR2021】神经元注意力蒸馏消除DNN中的后门触发器
专知会员服务
15+阅读 · 2021年1月31日
专知会员服务
26+阅读 · 2021年1月21日
专知会员服务
42+阅读 · 2021年1月18日
[NeurIPS 2020]对图神经网络更实际的对抗式攻击
专知会员服务
9+阅读 · 2020年11月1日
【综述】基于图的对抗式攻击和防御,附22页论文下载
专知会员服务
69+阅读 · 2020年3月5日
相关资讯
对抗攻击之利用水印生成对抗样本
计算机视觉life
10+阅读 · 2020年9月27日
虚拟对抗训练:一种新颖的半监督学习正则化方法
人工智能前沿讲习班
8+阅读 · 2019年6月9日
一文读懂文本处理中的对抗训练
PaperWeekly
22+阅读 · 2019年6月5日
CVPR 2019 | 图像压缩重建也能抵御对抗样本
计算机视觉life
3+阅读 · 2019年4月26日
论文浅尝 | 远程监督关系抽取的生成式对抗训练
开放知识图谱
17+阅读 · 2018年7月12日
基于典型相关分析的词向量
AI研习社
7+阅读 · 2017年12月24日
微信扫码咨询专知VIP会员