论文题目: A Pre-training Based Personalized Dialogue Generation Model with Persona-sparse Data

论文摘要: 赋予对话系统以人物角色是实现更人性化对话的关键。然而,由于在自然语言中很难体现个性,以及在大多数对话语料库中观察到的人物稀疏性问题,这一问题还远未得到很好的探讨。本论文提出了一种基于预训练的个性化对话模型,该模型可以利用人物角色稀疏对话数据生成一致响应。该方法利用预先训练好的语言模型来初始化编解码器,并通过将说话人的角色和对话历史一起编码,设计了个人属性嵌入来建模更丰富的对话上下文。此外,为了在解码过程中合并目标人物角色并平衡其贡献,在解码器中设计了注意路由结构,以使用动态预测权重合并从目标人物角色提取的特征和对话上下文。我们的模型可以在训练过程中统一使用人物角色稀疏对话,也可以控制推理过程中要显示的人物角色相关特征的数量。无论是自动评估还是手动评估都表明,该模型在使用人物角色稀疏数据生成更一致和人物角色一致的响应方面优于最新方法。

成为VIP会员查看完整内容
29

相关内容

语料库是语料库语言学研究的基础资源,也是经验主义语言研究方法的主要资源。应用于词典编纂,语言教学,传统语言研究,自然语言处理中基于统计或实例的研究等方面。
论文浅尝 | 基于图注意力的常识对话生成
开放知识图谱
8+阅读 · 2019年2月5日
利用深度强化学习进行对话生成
PaperWeekly
9+阅读 · 2017年8月23日
Arxiv
21+阅读 · 2019年8月21日
Arxiv
8+阅读 · 2019年3月21日
VIP会员
最新内容
最新“指挥控制”领域出版物合集(简介)
专知会员服务
1+阅读 · 今天15:19
面向军事作战需求开发的人工智能(RAIMOND)
专知会员服务
3+阅读 · 今天15:13
软件定义多域战术网络:基础与未来方向(综述)
水下战战术决策中的气象与海洋预报(50页报告)
远程空中优势:新一代超视距导弹的兴起
专知会员服务
1+阅读 · 今天14:45
大语言模型溯因推理的统一分类学与综述
专知会员服务
0+阅读 · 今天12:07
相关VIP内容
微信扫码咨询专知VIP会员