会员服务
预训练模型 ·
2020 年 9 月 15 日
【Google-Thang】最新《语言预训练语生成进展》67页ppt，Language Pretraining
专知会员服务
专知会员服务
专知，提供专业可信的知识分发服务，让认知协作更快更好！

在这次演讲中，我将谈谈语言预训练和语言生成方面的最新进展。关于语言预训练，我将介绍ELECTRA，我们不同的语言预训练学习比BERT更有效和达到的状态，在斯坦福问题回答基准(队)。在语言生成方面，我将重点介绍我们最近开发的开放域聊天机器人Meena，它在名为SSA的人类相似性度量上达到了最佳水平。

https://m.facebook.com/vinai.io/photos/a.2326188644290473/2674135016162499/?type=3

成为VIP会员查看完整内容
【百度提取码: 5j65】Recent Advances in Language Pretraining & Generation
24

相关内容

【Facebook AI】无监督机器翻译，336页ppt，Unsupervised Machine Translation
专知会员服务
19+阅读 · 2020年11月17日
【DeepMind硬核课】深度学习计算机视觉前沿进展，附124页ppt
【DeepMind硬核课】深度学习计算机视觉前沿进展，附124页ppt
专知会员服务
168+阅读 · 2020年6月30日
【CVPR2020-微软&FB】自监督学习的视觉语言建模，115页ppt讲述多模态预训练进展
【CVPR2020-微软&FB】自监督学习的视觉语言建模，115页ppt讲述多模态预训练进展
专知会员服务
59+阅读 · 2020年6月18日
【ACL2020-Facebook AI】大规模无监督跨语言表示学习
【ACL2020-Facebook AI】大规模无监督跨语言表示学习
专知会员服务
34+阅读 · 2020年4月5日
【ICML2020投稿论文-CMU-DeepMind-Google】用于评估跨语言泛化的大规模多语言多任务基准
【ICML2020投稿论文-CMU-DeepMind-Google】用于评估跨语言泛化的大规模多语言多任务基准
专知会员服务
14+阅读 · 2020年3月27日
深度学习自然语言处理进展综述论文
专知会员服务
201+阅读 · 2020年3月6日
【清华大学】知识增强的常识性故事生成预训练模型，A Knowledge-Enhanced Pretraining Model for Commonsense Story Generation
【清华大学】知识增强的常识性故事生成预训练模型，A Knowledge-Enhanced Pretraining Model for Commonsense Story Generation
专知会员服务
52+阅读 · 2020年1月20日
预训练语言模型BERT，Jacob Devlin斯坦福演讲PPT：BERT介绍与答疑，35页ppt
预训练语言模型BERT，Jacob Devlin斯坦福演讲PPT：BERT介绍与答疑，35页ppt
专知会员服务
115+阅读 · 2020年1月7日
【中科院自动化所】序列到序列语音识别的无监督预训练（Unsupervised pre-training for sequence to sequence speech recognition）
【中科院自动化所】序列到序列语音识别的无监督预训练（Unsupervised pre-training for sequence to sequence speech recognition）
专知会员服务
33+阅读 · 2020年1月5日
【ICLR2020 预训练的百科全书】弱监督的知识-预训练的语言模型（PRETRAINED ENCYCLOPEDIA: WEAKLY SUPERVISED KNOWLEDGE-PRETRAINED LANGUAGE MODEL）
【ICLR2020 预训练的百科全书】弱监督的知识-预训练的语言模型（PRETRAINED ENCYCLOPEDIA: WEAKLY SUPERVISED KNOWLEDGE-PRETRAINED LANGUAGE MODEL）
专知会员服务
25+阅读 · 2019年12月26日
Bert 之后：预训练语言模型与自然语言生成
Bert 之后：预训练语言模型与自然语言生成
AINLP
16+阅读 · 2019年7月16日
超越 BERT 和 GPT，微软亚洲研究院开源新模型 MASS！
超越 BERT 和 GPT，微软亚洲研究院开源新模型 MASS！
雷锋网
10+阅读 · 2019年6月27日
【干货】NLP中的迁移学习教程来啦！（238页PPT下载）
【干货】NLP中的迁移学习教程来啦！（238页PPT下载）
新智元
35+阅读 · 2019年6月3日
超越BERT、GPT，微软提出通用预训练模型MASS
超越BERT、GPT，微软提出通用预训练模型MASS
机器之心
4+阅读 · 2019年5月10日
BERT一作Jacob Devlin斯坦福演讲PPT：BERT介绍与答疑
BERT一作Jacob Devlin斯坦福演讲PPT：BERT介绍与答疑
专知
49+阅读 · 2019年3月7日
基于深度学习的文本生成【附217页PPT下载】
基于深度学习的文本生成【附217页PPT下载】
专知
35+阅读 · 2018年11月24日
谷歌最强NLP模型BERT官方中文版来了！多语言模型支持100种语言
谷歌最强NLP模型BERT官方中文版来了！多语言模型支持100种语言
新智元
5+阅读 · 2018年11月6日
谷歌 AI：语义文本相似度研究进展
谷歌 AI：语义文本相似度研究进展
AI研习社
22+阅读 · 2018年6月13日
干货 | 谷歌 AI：语义文本相似度研究进展
干货 | 谷歌 AI：语义文本相似度研究进展
AI科技评论
24+阅读 · 2018年6月12日
Facebook惊人发现：聊天机器人开始自创语言了！
Facebook惊人发现：聊天机器人开始自创语言了！
AI世代
3+阅读 · 2017年6月22日
How Useful is Self-Supervised Pretraining for Visual Tasks?
How Useful is Self-Supervised Pretraining for Visual Tasks?
Arxiv
9+阅读 · 2020年3月31日
Few-shot Natural Language Generation for Task-Oriented Dialog
Few-shot Natural Language Generation for Task-Oriented Dialog
Arxiv
30+阅读 · 2020年2月27日
ALBERT: A Lite BERT for Self-supervised Learning of Language Representations
Arxiv
11+阅读 · 2019年10月30日
Question Generation by Transformers
Question Generation by Transformers
Arxiv
5+阅读 · 2019年9月14日
Multi-Granularity Representations of Dialog
Arxiv
3+阅读 · 2019年8月26日
Text Summarization with Pretrained Encoders
Arxiv
5+阅读 · 2019年8月22日
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
Arxiv
16+阅读 · 2019年5月24日
code2seq: Generating Sequences from Structured Representations of Code
code2seq: Generating Sequences from Structured Representations of Code
Arxiv
3+阅读 · 2019年2月6日
Paraphrase Generation with Deep Reinforcement Learning
Paraphrase Generation with Deep Reinforcement Learning
Arxiv
4+阅读 · 2018年8月23日
SEARNN: Training RNNs with Global-Local Losses
Arxiv
5+阅读 · 2018年1月29日
VIP会员
相关主题
预训练模型
最新内容
人工智能与机器人自主系统等新兴技术革命将如何影响地面作战的指挥控制？
人工智能与机器人自主系统等新兴技术革命将如何影响地面作战的指挥控制？
专知会员服务
0+阅读 · 4月12日
弹性指挥控制：北约、伊朗与俄罗斯指挥控制架构的比较分析
弹性指挥控制：北约、伊朗与俄罗斯指挥控制架构的比较分析
专知会员服务
1+阅读 · 4月12日
最新“指挥控制”领域出版物合集（简介）
最新“指挥控制”领域出版物合集（简介）
专知会员服务
1+阅读 · 4月12日
面向军事作战需求开发的人工智能（RAIMOND）
面向军事作战需求开发的人工智能（RAIMOND）
专知会员服务
4+阅读 · 4月12日
检测算法战：一个识别军事行动中人工智能特征的框架
检测算法战：一个识别军事行动中人工智能特征的框架
专知会员服务
2+阅读 · 4月12日
软件定义多域战术网络：基础与未来方向（综述）
软件定义多域战术网络：基础与未来方向（综述）
专知会员服务
5+阅读 · 4月12日
水下战战术决策中的气象与海洋预报（50页报告）
水下战战术决策中的气象与海洋预报（50页报告）
专知会员服务
1+阅读 · 4月12日
远程空中优势：新一代超视距导弹的兴起
远程空中优势：新一代超视距导弹的兴起
专知会员服务
1+阅读 · 4月12日
大语言模型溯因推理的统一分类学与综述
大语言模型溯因推理的统一分类学与综述
专知会员服务
0+阅读 · 4月12日
CVPR 2026 Findings | 算力砍半、性能不降！全开源 A₁模型：让机器人大模型真正走向落地
CVPR 2026 Findings | 算力砍半、性能不降！全开源 A₁模型：让机器人大模型真正走向落地
专知会员服务
0+阅读 · 4月12日
大语言模型与国防战略：升级风险与国家安全挑战（综述）
大语言模型与国防战略：升级风险与国家安全挑战（综述）
专知会员服务
7+阅读 · 4月12日
《基于机器学习预测模型识别新型超视距战术及DARPA AIR智能体误差分析》
《基于机器学习预测模型识别新型超视距战术及DARPA AIR智能体误差分析》
专知会员服务
10+阅读 · 4月11日
以机器速度作战：人工智能与美陆军反火力作战——第二部分
以机器速度作战：人工智能与美陆军反火力作战——第二部分
专知会员服务
8+阅读 · 4月11日
以机器速度作战：人工智能与美陆军反火力作战——第一部分
以机器速度作战：人工智能与美陆军反火力作战——第一部分
专知会员服务
7+阅读 · 4月11日
大视觉语言模型的高效推理：瓶颈剖析、关键技术与未来展望
大视觉语言模型的高效推理：瓶颈剖析、关键技术与未来展望
专知会员服务
6+阅读 · 4月11日
相关VIP内容
【Facebook AI】无监督机器翻译，336页ppt，Unsupervised Machine Translation
专知会员服务
19+阅读 · 2020年11月17日
【DeepMind硬核课】深度学习计算机视觉前沿进展，附124页ppt
【DeepMind硬核课】深度学习计算机视觉前沿进展，附124页ppt
专知会员服务
168+阅读 · 2020年6月30日
【CVPR2020-微软&FB】自监督学习的视觉语言建模，115页ppt讲述多模态预训练进展
【CVPR2020-微软&FB】自监督学习的视觉语言建模，115页ppt讲述多模态预训练进展
专知会员服务
59+阅读 · 2020年6月18日
【ACL2020-Facebook AI】大规模无监督跨语言表示学习
【ACL2020-Facebook AI】大规模无监督跨语言表示学习
专知会员服务
34+阅读 · 2020年4月5日
【ICML2020投稿论文-CMU-DeepMind-Google】用于评估跨语言泛化的大规模多语言多任务基准
【ICML2020投稿论文-CMU-DeepMind-Google】用于评估跨语言泛化的大规模多语言多任务基准
专知会员服务
14+阅读 · 2020年3月27日
深度学习自然语言处理进展综述论文
专知会员服务
201+阅读 · 2020年3月6日
【清华大学】知识增强的常识性故事生成预训练模型，A Knowledge-Enhanced Pretraining Model for Commonsense Story Generation
【清华大学】知识增强的常识性故事生成预训练模型，A Knowledge-Enhanced Pretraining Model for Commonsense Story Generation
专知会员服务
52+阅读 · 2020年1月20日
预训练语言模型BERT，Jacob Devlin斯坦福演讲PPT：BERT介绍与答疑，35页ppt
预训练语言模型BERT，Jacob Devlin斯坦福演讲PPT：BERT介绍与答疑，35页ppt
专知会员服务
115+阅读 · 2020年1月7日
【中科院自动化所】序列到序列语音识别的无监督预训练（Unsupervised pre-training for sequence to sequence speech recognition）
【中科院自动化所】序列到序列语音识别的无监督预训练（Unsupervised pre-training for sequence to sequence speech recognition）
专知会员服务
33+阅读 · 2020年1月5日
【ICLR2020 预训练的百科全书】弱监督的知识-预训练的语言模型（PRETRAINED ENCYCLOPEDIA: WEAKLY SUPERVISED KNOWLEDGE-PRETRAINED LANGUAGE MODEL）
【ICLR2020 预训练的百科全书】弱监督的知识-预训练的语言模型（PRETRAINED ENCYCLOPEDIA: WEAKLY SUPERVISED KNOWLEDGE-PRETRAINED LANGUAGE MODEL）
专知会员服务
25+阅读 · 2019年12月26日
热门VIP内容
相关资讯
Bert 之后：预训练语言模型与自然语言生成
Bert 之后：预训练语言模型与自然语言生成
AINLP
16+阅读 · 2019年7月16日
超越 BERT 和 GPT，微软亚洲研究院开源新模型 MASS！
超越 BERT 和 GPT，微软亚洲研究院开源新模型 MASS！
雷锋网
10+阅读 · 2019年6月27日
【干货】NLP中的迁移学习教程来啦！（238页PPT下载）
【干货】NLP中的迁移学习教程来啦！（238页PPT下载）
新智元
35+阅读 · 2019年6月3日
超越BERT、GPT，微软提出通用预训练模型MASS
超越BERT、GPT，微软提出通用预训练模型MASS
机器之心
4+阅读 · 2019年5月10日
BERT一作Jacob Devlin斯坦福演讲PPT：BERT介绍与答疑
BERT一作Jacob Devlin斯坦福演讲PPT：BERT介绍与答疑
专知
49+阅读 · 2019年3月7日
基于深度学习的文本生成【附217页PPT下载】
基于深度学习的文本生成【附217页PPT下载】
专知
35+阅读 · 2018年11月24日
谷歌最强NLP模型BERT官方中文版来了！多语言模型支持100种语言
谷歌最强NLP模型BERT官方中文版来了！多语言模型支持100种语言
新智元
5+阅读 · 2018年11月6日
谷歌 AI：语义文本相似度研究进展
谷歌 AI：语义文本相似度研究进展
AI研习社
22+阅读 · 2018年6月13日
干货 | 谷歌 AI：语义文本相似度研究进展
干货 | 谷歌 AI：语义文本相似度研究进展
AI科技评论
24+阅读 · 2018年6月12日
Facebook惊人发现：聊天机器人开始自创语言了！
Facebook惊人发现：聊天机器人开始自创语言了！
AI世代
3+阅读 · 2017年6月22日
相关论文
How Useful is Self-Supervised Pretraining for Visual Tasks?
How Useful is Self-Supervised Pretraining for Visual Tasks?
Arxiv
9+阅读 · 2020年3月31日
Few-shot Natural Language Generation for Task-Oriented Dialog
Few-shot Natural Language Generation for Task-Oriented Dialog
Arxiv
30+阅读 · 2020年2月27日
ALBERT: A Lite BERT for Self-supervised Learning of Language Representations
Arxiv
11+阅读 · 2019年10月30日
Question Generation by Transformers
Question Generation by Transformers
Arxiv
5+阅读 · 2019年9月14日
Multi-Granularity Representations of Dialog
Arxiv
3+阅读 · 2019年8月26日
Text Summarization with Pretrained Encoders
Arxiv
5+阅读 · 2019年8月22日
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
Arxiv
16+阅读 · 2019年5月24日
code2seq: Generating Sequences from Structured Representations of Code
code2seq: Generating Sequences from Structured Representations of Code
Arxiv
3+阅读 · 2019年2月6日
Paraphrase Generation with Deep Reinforcement Learning
Paraphrase Generation with Deep Reinforcement Learning
Arxiv
4+阅读 · 2018年8月23日
SEARNN: Training RNNs with Global-Local Losses
Arxiv
5+阅读 · 2018年1月29日
微信扫码咨询专知VIP会员
Top