In NMT, how far can we get without attention and without separate encoding and decoding? To answer that question, we introduce a recurrent neural translation model that does not use attention and does not have a separate encoder and decoder. Our eager translation model is low-latency, writing target tokens as soon as it reads the first source token, and uses constant memory during decoding. It performs on par with the standard attention-based model of Bahdanau et al. (2014), and better on long sentences.


翻译:在NMT中,没有关注,没有单独的编码和解码,我们还能走多远?为了回答这个问题,我们引入了一个不使用注意的经常性神经翻译模型,没有单独的编码器和解码器。 我们热切的翻译模型是低延迟的,一读到第一个源符号就刻写目标符号,在解码过程中使用恒定的记忆。它与Bahdanau等人(2014年)的标准关注模型相同,长刑期更好。

4
下载
关闭预览

相关内容

Attention机制最早是在视觉图像领域提出来的,但是真正火起来应该算是google mind团队的这篇论文《Recurrent Models of Visual Attention》[14],他们在RNN模型上使用了attention机制来进行图像分类。随后,Bahdanau等人在论文《Neural Machine Translation by Jointly Learning to Align and Translate》 [1]中,使用类似attention的机制在机器翻译任务上将翻译和对齐同时进行,他们的工作算是是第一个提出attention机制应用到NLP领域中。接着类似的基于attention机制的RNN模型扩展开始应用到各种NLP任务中。最近,如何在CNN中使用attention机制也成为了大家的研究热点。下图表示了attention研究进展的大概趋势。
注意力机制介绍,Attention Mechanism
专知会员服务
172+阅读 · 2019年10月13日
强化学习最新教程,17页pdf
专知会员服务
182+阅读 · 2019年10月11日
最新BERT相关论文清单,BERT-related Papers
专知会员服务
53+阅读 · 2019年9月29日
干货 | NLP中的self-attention【自-注意力】机制
机器学习算法与Python学习
12+阅读 · 2018年4月11日
一文读懂「Attention is All You Need」| 附代码实现
PaperWeekly
37+阅读 · 2018年1月10日
论文共读 | Attention is All You Need
黑龙江大学自然语言处理实验室
15+阅读 · 2017年9月7日
Attention is All You Need | 每周一起读
PaperWeekly
13+阅读 · 2017年6月28日
Talking-Heads Attention
Arxiv
15+阅读 · 2020年3月5日
Area Attention
Arxiv
5+阅读 · 2019年5月23日
Arxiv
29+阅读 · 2017年12月6日
VIP会员
相关VIP内容
注意力机制介绍,Attention Mechanism
专知会员服务
172+阅读 · 2019年10月13日
强化学习最新教程,17页pdf
专知会员服务
182+阅读 · 2019年10月11日
最新BERT相关论文清单,BERT-related Papers
专知会员服务
53+阅读 · 2019年9月29日
相关资讯
干货 | NLP中的self-attention【自-注意力】机制
机器学习算法与Python学习
12+阅读 · 2018年4月11日
一文读懂「Attention is All You Need」| 附代码实现
PaperWeekly
37+阅读 · 2018年1月10日
论文共读 | Attention is All You Need
黑龙江大学自然语言处理实验室
15+阅读 · 2017年9月7日
Attention is All You Need | 每周一起读
PaperWeekly
13+阅读 · 2017年6月28日
相关论文
Talking-Heads Attention
Arxiv
15+阅读 · 2020年3月5日
Area Attention
Arxiv
5+阅读 · 2019年5月23日
Arxiv
29+阅读 · 2017年12月6日
Top
微信扫码咨询专知VIP会员