非自回归序列生成(Non-autoregressive sequence generation, NAR)尝试并行生成全部或部分输出序列,以加速生成过程,避免自回归生成中潜在的问题(如标签偏差、暴露偏差)。虽然它受到了大量的研究关注,并已被应用于自然语言和语音中的许多序列生成任务,但由于缺乏建模能力,原始NAR模型在缩小与最先进的自回归模型之间的性能差距方面仍面临许多挑战。在本教程中,我们将全面介绍和回顾非自回归序列生成,分为四个部分:1)背景,包括NAR生成的动机,问题定义,评估协议,以及与标准自回归生成方法的比较。2)方法,包括不同的方面:模型架构、目标函数、训练数据、学习范式和额外的推理技巧。3)应用,涵盖了文本和语音生成中的不同任务,以及应用中的一些高级主题。4)结论,我们描述了几个研究挑战,并讨论了潜在的未来研究方向。我们希望本教程可以服务于从事非自回归序列生成的学术研究人员和行业从业人员。

https://nar-tutorial.github.io/acl2022/

成为VIP会员查看完整内容
21

相关内容

【ICLR2022】序列生成的目标侧数据增强
专知会员服务
23+阅读 · 2022年2月14日
【教程】自然语言处理中的迁移学习原理,41 页PPT
专知会员服务
96+阅读 · 2020年2月8日
WSDM 2020教程《深度贝叶斯数据挖掘》,附257页PPT下载
专知会员服务
158+阅读 · 2020年2月7日
【ICLR2022】序列生成的目标侧数据增强
专知
0+阅读 · 2022年2月14日
Python NLP 入门教程
开源中国
14+阅读 · 2017年10月1日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Arxiv
37+阅读 · 2021年2月10日
Cold-start Sequential Recommendation via Meta Learner
Arxiv
15+阅读 · 2020年12月10日
VIP会员
最新内容
世界模型入门:从序贯决策到通用智能体
专知会员服务
8+阅读 · 10月24日
军事域更好使用人工智能的实用指南
专知会员服务
10+阅读 · 10月22日
《衡量语言模型中的作战规划能力》
专知会员服务
14+阅读 · 10月20日
Maven智能系统:帕兰提尔军事人工智能平台详解
专知会员服务
17+阅读 · 10月20日
《测试自动化框架在敏捷软件开发中的角色》
专知会员服务
9+阅读 · 10月20日
俄罗斯如何拦截乌克兰无人机与巡航导弹
专知会员服务
13+阅读 · 10月15日
《武器-目标分配问题:精确与近似求解算法》
专知会员服务
19+阅读 · 10月15日
相关基金
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
微信扫码咨询专知VIP会员