题目

NLP注意力机制综述论文翻译，Attention, please! A Critical Review of Neural Attention Models in Natural Language Processing

关键词

注意力机制，自然语言处理，深度学习，人工智能

简介

注意力是一种广泛用于神经体系结构的越来越流行的机制。由于该领域的快速发展，仍然缺少对注意力的系统概述。 在本文中，我们为自然语言处理的注意力体系结构定义了一个统一的模型，重点是旨在与文本数据的矢量表示一起工作的体系结构。 我们讨论了提案不同的方面，注意力的可能用途，并绘制了该领域的主要研究活动和公开挑战。

作者

Andrea Galassi

A.GALASSI@UNIBO.IT

Department of Computer Science and Engineering (DISI),

University of Bologna, Bologna, Italy ；

Marco Lippi

MARCO.LIPPI@UNIMORE.IT

Department of Sciences and Methods for Engineering (DISMI),

University of Modena and Reggio Emilia, Reggio Emilia, Italy ；

Paolo Torroni

PAOLO.TORRONI@UNIBO.IT

Department of Computer Science and Engineering (DISI),

University of Bologna, Bologna, Italy