论文题目: A Pre-training Based Personalized Dialogue Generation Model with Persona-sparse Data

论文摘要: 赋予对话系统以人物角色是实现更人性化对话的关键。然而,由于在自然语言中很难体现个性,以及在大多数对话语料库中观察到的人物稀疏性问题,这一问题还远未得到很好的探讨。本论文提出了一种基于预训练的个性化对话模型,该模型可以利用人物角色稀疏对话数据生成一致响应。该方法利用预先训练好的语言模型来初始化编解码器,并通过将说话人的角色和对话历史一起编码,设计了个人属性嵌入来建模更丰富的对话上下文。此外,为了在解码过程中合并目标人物角色并平衡其贡献,在解码器中设计了注意路由结构,以使用动态预测权重合并从目标人物角色提取的特征和对话上下文。我们的模型可以在训练过程中统一使用人物角色稀疏对话,也可以控制推理过程中要显示的人物角色相关特征的数量。无论是自动评估还是手动评估都表明,该模型在使用人物角色稀疏数据生成更一致和人物角色一致的响应方面优于最新方法。

成为VIP会员查看完整内容
29

相关内容

语料库是语料库语言学研究的基础资源,也是经验主义语言研究方法的主要资源。应用于词典编纂,语言教学,传统语言研究,自然语言处理中基于统计或实例的研究等方面。
论文浅尝 | 基于图注意力的常识对话生成
开放知识图谱
8+阅读 · 2019年2月5日
利用深度强化学习进行对话生成
PaperWeekly
9+阅读 · 2017年8月23日
Arxiv
21+阅读 · 2019年8月21日
Arxiv
8+阅读 · 2019年3月21日
VIP会员
最新内容
以色列-美国-伊朗战争中的无人机:关键要点
专知会员服务
3+阅读 · 今天14:04
《Palantir任务保障性软件安全标准(MA-S2)》
专知会员服务
6+阅读 · 今天13:49
基于声学的无人机检测技术综述
专知会员服务
5+阅读 · 今天13:37
《当代混合战争分析框架:俄乌战争经验教训》
专知会员服务
5+阅读 · 今天13:11
战略前沿人工智能的再思考(中文)
专知会员服务
7+阅读 · 5月29日
《量化地基防空系统间接效应的博弈论方法》
专知会员服务
5+阅读 · 5月29日
“史诗怒火行动”中美军损失的作战飞机
专知会员服务
6+阅读 · 5月29日
ICML 2026 | 理解上下文持续学习中的泛化与遗忘
专知会员服务
5+阅读 · 5月28日
相关VIP内容
微信扫码咨询专知VIP会员