暗通沟渠:Multi-lingual Attention

2018 年 2 月 24 日 我爱读PAMI 王靖琰

你看这个句子中有俩命名实体,我们要从中提取他们之间的关系。关系提取呢,可以从一种语言中提取,也可以从多个语言中提取。本文讲的就是如何在多种语言中暗通沟渠,预测俩实体之间的关系。作者是清华的牛逼博士生, Yankai Lin。







Neural Relation Extraction with Multi-lingual Attention

Lin, Yankai, Zhiyuan Liu, and Maosong Sun

In Proceedings of the 55th Annual Meeting of the Association for

Computational Linguistics (Volume 1: Long Papers), vol. 1, pp. 34-43. 2017.

登录查看更多
7

相关内容

Attention机制最早是在视觉图像领域提出来的,但是真正火起来应该算是google mind团队的这篇论文《Recurrent Models of Visual Attention》[14],他们在RNN模型上使用了attention机制来进行图像分类。随后,Bahdanau等人在论文《Neural Machine Translation by Jointly Learning to Align and Translate》 [1]中,使用类似attention的机制在机器翻译任务上将翻译和对齐同时进行,他们的工作算是是第一个提出attention机制应用到NLP领域中。接着类似的基于attention机制的RNN模型扩展开始应用到各种NLP任务中。最近,如何在CNN中使用attention机制也成为了大家的研究热点。下图表示了attention研究进展的大概趋势。
基于多头注意力胶囊网络的文本分类模型
专知会员服务
79+阅读 · 2020年5月24日
最新BERT相关论文清单,BERT-related Papers
专知会员服务
53+阅读 · 2019年9月29日
从三大顶会论文看百变Self-Attention
PaperWeekly
17+阅读 · 2019年11月11日
论文浅尝 | 基于深度序列模型的知识图谱补全
开放知识图谱
29+阅读 · 2019年5月19日
注意力机制(Attention)最新综述论文及相关源码
人工智能学家
30+阅读 · 2018年11月17日
从Seq2seq到Attention模型到Self Attention(二)
量化投资与机器学习
23+阅读 · 2018年10月9日
跨越注意力:Cross-Attention
我爱读PAMI
172+阅读 · 2018年6月2日
已删除
将门创投
12+阅读 · 2017年10月13日
从2017年顶会论文看Attention Model
哈工大SCIR
9+阅读 · 2017年10月12日
【音乐】Attention
英语演讲视频每日一推
3+阅读 · 2017年8月22日
Talking-Heads Attention
Arxiv
15+阅读 · 2020年3月5日
Question Generation by Transformers
Arxiv
5+阅读 · 2019年9月14日
Area Attention
Arxiv
5+阅读 · 2019年2月5日
Arxiv
29+阅读 · 2017年12月6日
VIP会员
最新内容
BES:让语言模型通过双向进化搜索自我改进
专知会员服务
0+阅读 · 44分钟前
以色列-美国-伊朗战争中的无人机:关键要点
专知会员服务
3+阅读 · 今天14:04
《Palantir任务保障性软件安全标准(MA-S2)》
专知会员服务
6+阅读 · 今天13:49
基于声学的无人机检测技术综述
专知会员服务
5+阅读 · 今天13:37
《当代混合战争分析框架:俄乌战争经验教训》
专知会员服务
5+阅读 · 今天13:11
战略前沿人工智能的再思考(中文)
专知会员服务
7+阅读 · 5月29日
《量化地基防空系统间接效应的博弈论方法》
专知会员服务
5+阅读 · 5月29日
相关VIP内容
相关资讯
从三大顶会论文看百变Self-Attention
PaperWeekly
17+阅读 · 2019年11月11日
论文浅尝 | 基于深度序列模型的知识图谱补全
开放知识图谱
29+阅读 · 2019年5月19日
注意力机制(Attention)最新综述论文及相关源码
人工智能学家
30+阅读 · 2018年11月17日
从Seq2seq到Attention模型到Self Attention(二)
量化投资与机器学习
23+阅读 · 2018年10月9日
跨越注意力:Cross-Attention
我爱读PAMI
172+阅读 · 2018年6月2日
已删除
将门创投
12+阅读 · 2017年10月13日
从2017年顶会论文看Attention Model
哈工大SCIR
9+阅读 · 2017年10月12日
【音乐】Attention
英语演讲视频每日一推
3+阅读 · 2017年8月22日
相关论文
Talking-Heads Attention
Arxiv
15+阅读 · 2020年3月5日
Question Generation by Transformers
Arxiv
5+阅读 · 2019年9月14日
Area Attention
Arxiv
5+阅读 · 2019年2月5日
Arxiv
29+阅读 · 2017年12月6日
Top
微信扫码咨询专知VIP会员