文本生成在过去几年中取得了重大进展。然而,评估指标却落后了,因为最流行的选择(如BLEU 和ROUGE)可能与人类的判断关系不大。我们提出了BLEURT,一种基于BERT的学习评价指标,它可以用几千个可能有偏见的训练例子来模拟人类的判断。我们的方法的一个关键方面是一个新的预训练方案,它使用了数百万的综合例子来帮助模型泛化。BLEURT提供了过去三年WMT指标共享任务和WebNLG竞赛数据集的最先进的结果。与基于普通BERT的方法相比,即使在训练数据稀少且分布不均匀的情况下,它也能产生更好的结果。

成为VIP会员查看完整内容
20

相关内容

【ACL2020-Google】逆向工程配置的神经文本生成模型
专知会员服务
17+阅读 · 2020年4月20日
【ACL2020-伯克利】预训练Transformer提高分布外鲁棒性
专知会员服务
20+阅读 · 2020年4月14日
【ACL2020-Facebook AI】大规模无监督跨语言表示学习
专知会员服务
34+阅读 · 2020年4月5日
NLP领域中的迁移学习现状
AI科技评论
7+阅读 · 2019年9月1日
39页《迁移学习自然语言生成》PPT
专知
9+阅读 · 2019年2月13日
预训练模型迁移学习
极市平台
11+阅读 · 2018年11月6日
用于神经网络机器翻译的全并行文本生成
干货|多重预训练视觉模型的迁移学习
机器学习算法与Python学习
4+阅读 · 2017年12月25日
2017深度学习NLP进展与趋势
全球人工智能
5+阅读 · 2017年12月19日
Meta-Learning to Cluster
Arxiv
18+阅读 · 2019年10月30日
Arxiv
5+阅读 · 2019年4月21日
VIP会员
最新内容
反制无人机:乌克兰提供的五点启示
专知会员服务
9+阅读 · 9月23日
《各指挥层级均亟需红队能力》报告
专知会员服务
8+阅读 · 9月23日
《航电任务系统框架(FAMOS)》50页报告
专知会员服务
5+阅读 · 9月22日
《对抗行动中的人工智能与自主性》智库报告
专知会员服务
10+阅读 · 9月22日
《从数据到胜利:战争中的分析优势之争》
专知会员服务
12+阅读 · 9月22日
战争不仅需要机器人:人类仍不可或缺
专知会员服务
6+阅读 · 9月21日
《描绘美国防部创新基础设施的未来蓝图》100页
专知会员服务
12+阅读 · 9月21日
相关资讯
NLP领域中的迁移学习现状
AI科技评论
7+阅读 · 2019年9月1日
39页《迁移学习自然语言生成》PPT
专知
9+阅读 · 2019年2月13日
预训练模型迁移学习
极市平台
11+阅读 · 2018年11月6日
用于神经网络机器翻译的全并行文本生成
干货|多重预训练视觉模型的迁移学习
机器学习算法与Python学习
4+阅读 · 2017年12月25日
2017深度学习NLP进展与趋势
全球人工智能
5+阅读 · 2017年12月19日
微信扫码咨询专知VIP会员