会员服务
BERT · 预训练语言模型 · 自然语言处理 ·
2020 年 1 月 30 日
【跨语言BERT模型大集合】Transfer learning is increasingly going multilingual with language-specific BERT models
专知会员服务
专知会员服务
专知，提供专业可信的知识分发服务，让认知协作更快更好！

目录

  • German BERT deepset - Open Sourcing German BERT
  • CamemBERT
  • Flau-BERT [1912.05372] FlauBERT: Unsupervised Language Model Pre-training for French
  • AlBERTo
  • RobBERT [2001.06286] RobBERT: RobBERT: a Dutch RoBERTa-based Language Model
  • RuBERT [1912.09582] BERTje: A Dutch BERT Model
  • BETO
  • BERTje
  • Portuguese BERT
  • German BERT&Italian BERT
成为VIP会员查看完整内容
https://twitter.com/seb_ruder/status/1221851361811128321
deepset - Open Sourcing German BERT CamemBERT FlauBERT: Unsupervised Language Model Pre-training for French AlBERTo RobBERT: a Dutch RoBERTa-based Language Model BERTje: A Dutch BERT Model Portuguese BERT German BERT&Italian BERT
54

相关内容

BERT全称Bidirectional Encoder Representations from Transformers，是预训练语言表示的方法，可以在大型文本语料库（如维基百科）上训练通用的“语言理解”模型，然后将该模型用于下游NLP任务，比如机器翻译、问答。
【ACL2020】不要停止预训练:根据领域和任务自适应调整语言模型，Don't Stop Pretraining: Adapt Language Models to Domains and Tasks
【ACL2020】不要停止预训练:根据领域和任务自适应调整语言模型，Don't Stop Pretraining: Adapt Language Models to Domains and Tasks
专知会员服务
46+阅读 · 2020年4月25日
【论文翻译】2020最新预训练语言模型综述：Pre-trained Models for Natural Language Processing: A Survey
【论文翻译】2020最新预训练语言模型综述：Pre-trained Models for Natural Language Processing: A Survey
专知会员服务
94+阅读 · 2020年4月13日
【Amazon】使用预先训练的Transformer模型进行数据增强，Data Augmentation using Pre-trained Transformer Models
【Amazon】使用预先训练的Transformer模型进行数据增强，Data Augmentation using Pre-trained Transformer Models
专知会员服务
51+阅读 · 2020年3月7日
【微软亚洲研究院】CodeBERT:用于编程和自然语言的预训练模型，CodeBERT: A Pre-Trained Model for Programming and Natural Languages
【微软亚洲研究院】CodeBERT:用于编程和自然语言的预训练模型，CodeBERT: A Pre-Trained Model for Programming and Natural Languages
专知会员服务
32+阅读 · 2020年2月21日
【微软研究院】IMAGEBERT: CROSS-MODAL PRE-TRAINING WITH LARGE-SCALE WEAK-SUPERVISED IMAGE-TEXT DATA
【微软研究院】IMAGEBERT: CROSS-MODAL PRE-TRAINING WITH LARGE-SCALE WEAK-SUPERVISED IMAGE-TEXT DATA
专知会员服务
43+阅读 · 2020年1月28日
【ICLR2020 预训练的百科全书】弱监督的知识-预训练的语言模型（PRETRAINED ENCYCLOPEDIA: WEAKLY SUPERVISED KNOWLEDGE-PRETRAINED LANGUAGE MODEL）
【ICLR2020 预训练的百科全书】弱监督的知识-预训练的语言模型（PRETRAINED ENCYCLOPEDIA: WEAKLY SUPERVISED KNOWLEDGE-PRETRAINED LANGUAGE MODEL）
专知会员服务
25+阅读 · 2019年12月26日
【Google论文强烈推荐】ALBERT:基于精简BERT的自我监督学习的语言表示，ALBERT: A Lite BERT for Self-Supervised Learning of Language Representations
【Google论文强烈推荐】ALBERT:基于精简BERT的自我监督学习的语言表示，ALBERT: A Lite BERT for Self-Supervised Learning of Language Representations
专知会员服务
25+阅读 · 2019年12月21日
【NLP模型的跨语言/跨领域迁移】《Transferring NLP models across languages and domains》
【NLP模型的跨语言/跨领域迁移】《Transferring NLP models across languages and domains》
专知会员服务
43+阅读 · 2019年11月25日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
164+阅读 · 2019年10月12日
最新BERT相关论文清单，BERT-related Papers
最新BERT相关论文清单，BERT-related Papers
专知会员服务
53+阅读 · 2019年9月29日
RoBERTa中文预训练模型：RoBERTa for Chinese
RoBERTa中文预训练模型：RoBERTa for Chinese
PaperWeekly
57+阅读 · 2019年9月16日
RoBERTa for Chinese：大规模中文预训练RoBERTa模型
RoBERTa for Chinese：大规模中文预训练RoBERTa模型
AINLP
30+阅读 · 2019年9月8日
【Github】GPT2-Chinese：中文的GPT2训练代码
【Github】GPT2-Chinese：中文的GPT2训练代码
AINLP
52+阅读 · 2019年8月23日
BERT/Transformer/迁移学习NLP资源大列表
BERT/Transformer/迁移学习NLP资源大列表
专知
19+阅读 · 2019年6月9日
BERT/注意力机制/Transformer/迁移学习NLP资源大列表：awesome-bert-nlp
BERT/注意力机制/Transformer/迁移学习NLP资源大列表：awesome-bert-nlp
AINLP
40+阅读 · 2019年6月9日
站在BERT肩膀上的NLP新秀们：XLMs、MASS和UNILM
站在BERT肩膀上的NLP新秀们：XLMs、MASS和UNILM
PaperWeekly
16+阅读 · 2019年6月6日
Github项目推荐 | awesome-bert：BERT相关资源大列表
Github项目推荐 | awesome-bert：BERT相关资源大列表
AI研习社
27+阅读 · 2019年2月26日
NLP预训练模型大集合
NLP预训练模型大集合
机器学习算法与Python学习
8+阅读 · 2018年12月28日
NLP预训练模型大集合！
NLP预训练模型大集合！
机器之心
21+阅读 · 2018年12月28日
pytorch-pretrained-BERT：BERT PyTorch实现，可加载Google BERT预训练模型
pytorch-pretrained-BERT：BERT PyTorch实现，可加载Google BERT预训练模型
AINLP
35+阅读 · 2018年11月6日
Unsupervised Domain Clusters in Pretrained Language Models
Arxiv
11+阅读 · 2020年4月5日
TinyBERT: Distilling BERT for Natural Language Understanding
TinyBERT: Distilling BERT for Natural Language Understanding
Arxiv
11+阅读 · 2019年9月23日
Text Summarization with Pretrained Encoders
Arxiv
5+阅读 · 2019年8月22日
XLNet: Generalized Autoregressive Pretraining for Language Understanding
Arxiv
14+阅读 · 2019年6月19日
Pre-Training with Whole Word Masking for Chinese BERT
Arxiv
11+阅读 · 2019年6月19日
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
Arxiv
16+阅读 · 2019年5月24日
BERT for Joint Intent Classification and Slot Filling
Arxiv
13+阅读 · 2019年2月28日
Multi-Task Deep Neural Networks for Natural Language Understanding
Multi-Task Deep Neural Networks for Natural Language Understanding
Arxiv
3+阅读 · 2019年1月31日
Deep Communicating Agents for Abstractive Summarization
Arxiv
5+阅读 · 2018年3月27日
Multilingual Training and Cross-lingual Adaptation on CTC-based Acoustic Model
Arxiv
7+阅读 · 2018年1月23日
VIP会员
相关主题
BERT
预训练语言模型
自然语言处理
最新内容
俄罗斯如何拦截乌克兰无人机与巡航导弹
俄罗斯如何拦截乌克兰无人机与巡航导弹
专知会员服务
9+阅读 · 10月15日
《封锁、捕获与打击：“史诗怒火”行动中经济战法的复兴》
《封锁、捕获与打击：“史诗怒火”行动中经济战法的复兴》
专知会员服务
10+阅读 · 10月15日
《武器-目标分配问题：精确与近似求解算法》
《武器-目标分配问题：精确与近似求解算法》
专知会员服务
13+阅读 · 10月15日
《以创新锻造杀伤力：第116步兵旅战斗队向机动旅战斗队转型中的电磁战与多域集成》
《以创新锻造杀伤力：第116步兵旅战斗队向机动旅战斗队转型中的电磁战与多域集成》
专知会员服务
9+阅读 · 10月15日
现代电磁战：集成式系统簇时代如何实现频谱优势
现代电磁战：集成式系统簇时代如何实现频谱优势
专知会员服务
9+阅读 · 10月14日
综述｜大模型评测是否过量？基准压缩的方法、成本与可靠性
综述｜大模型评测是否过量？基准压缩的方法、成本与可靠性
专知会员服务
7+阅读 · 10月14日
综述｜谁来改进机器人？迈向物理递归自我改进
综述｜谁来改进机器人？迈向物理递归自我改进
专知会员服务
10+阅读 · 10月14日
《迈向防空协同中段制导：一种连续武器-目标分配视角》
《迈向防空协同中段制导：一种连续武器-目标分配视角》
专知会员服务
9+阅读 · 10月14日
《兵棋推演真正教给我们的是什么：威胁识别，而非预测》
《兵棋推演真正教给我们的是什么：威胁识别，而非预测》
专知会员服务
12+阅读 · 10月14日
《电磁对抗环境下战场指挥与控制系统的弹性：基于依赖型隐马尔可夫模型的电子战对通信网络影响建模》
《电磁对抗环境下战场指挥与控制系统的弹性：基于依赖型隐马尔可夫模型的电子战对通信网络影响建模》
专知会员服务
8+阅读 · 10月14日
软件定义无人机蜂群给防空带来全新压力
软件定义无人机蜂群给防空带来全新压力
专知会员服务
10+阅读 · 10月13日
《半自主无人地面战车的互操作性》66页
《半自主无人地面战车的互操作性》66页
专知会员服务
14+阅读 · 10月13日
《鲁棒武器-目标分配方法在预测拦截点不确定条件下的应用》
《鲁棒武器-目标分配方法在预测拦截点不确定条件下的应用》
专知会员服务
10+阅读 · 10月13日
《攻击型无人机操作员能力向模拟训练的映射框架研究》130页
《攻击型无人机操作员能力向模拟训练的映射框架研究》130页
专知会员服务
12+阅读 · 10月13日
《加速作战司令部能力部署：指定作战司令官作为联合作战问题的执行代理》
《加速作战司令部能力部署：指定作战司令官作为联合作战问题的执行代理》
专知会员服务
8+阅读 · 10月13日
相关VIP内容
【ACL2020】不要停止预训练:根据领域和任务自适应调整语言模型，Don't Stop Pretraining: Adapt Language Models to Domains and Tasks
【ACL2020】不要停止预训练:根据领域和任务自适应调整语言模型，Don't Stop Pretraining: Adapt Language Models to Domains and Tasks
专知会员服务
46+阅读 · 2020年4月25日
【论文翻译】2020最新预训练语言模型综述：Pre-trained Models for Natural Language Processing: A Survey
【论文翻译】2020最新预训练语言模型综述：Pre-trained Models for Natural Language Processing: A Survey
专知会员服务
94+阅读 · 2020年4月13日
【Amazon】使用预先训练的Transformer模型进行数据增强，Data Augmentation using Pre-trained Transformer Models
【Amazon】使用预先训练的Transformer模型进行数据增强，Data Augmentation using Pre-trained Transformer Models
专知会员服务
51+阅读 · 2020年3月7日
【微软亚洲研究院】CodeBERT:用于编程和自然语言的预训练模型，CodeBERT: A Pre-Trained Model for Programming and Natural Languages
【微软亚洲研究院】CodeBERT:用于编程和自然语言的预训练模型，CodeBERT: A Pre-Trained Model for Programming and Natural Languages
专知会员服务
32+阅读 · 2020年2月21日
【微软研究院】IMAGEBERT: CROSS-MODAL PRE-TRAINING WITH LARGE-SCALE WEAK-SUPERVISED IMAGE-TEXT DATA
【微软研究院】IMAGEBERT: CROSS-MODAL PRE-TRAINING WITH LARGE-SCALE WEAK-SUPERVISED IMAGE-TEXT DATA
专知会员服务
43+阅读 · 2020年1月28日
【ICLR2020 预训练的百科全书】弱监督的知识-预训练的语言模型（PRETRAINED ENCYCLOPEDIA: WEAKLY SUPERVISED KNOWLEDGE-PRETRAINED LANGUAGE MODEL）
【ICLR2020 预训练的百科全书】弱监督的知识-预训练的语言模型（PRETRAINED ENCYCLOPEDIA: WEAKLY SUPERVISED KNOWLEDGE-PRETRAINED LANGUAGE MODEL）
专知会员服务
25+阅读 · 2019年12月26日
【Google论文强烈推荐】ALBERT:基于精简BERT的自我监督学习的语言表示，ALBERT: A Lite BERT for Self-Supervised Learning of Language Representations
【Google论文强烈推荐】ALBERT:基于精简BERT的自我监督学习的语言表示，ALBERT: A Lite BERT for Self-Supervised Learning of Language Representations
专知会员服务
25+阅读 · 2019年12月21日
【NLP模型的跨语言/跨领域迁移】《Transferring NLP models across languages and domains》
【NLP模型的跨语言/跨领域迁移】《Transferring NLP models across languages and domains》
专知会员服务
43+阅读 · 2019年11月25日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
164+阅读 · 2019年10月12日
最新BERT相关论文清单，BERT-related Papers
最新BERT相关论文清单，BERT-related Papers
专知会员服务
53+阅读 · 2019年9月29日
热门VIP内容
相关资讯
RoBERTa中文预训练模型：RoBERTa for Chinese
RoBERTa中文预训练模型：RoBERTa for Chinese
PaperWeekly
57+阅读 · 2019年9月16日
RoBERTa for Chinese：大规模中文预训练RoBERTa模型
RoBERTa for Chinese：大规模中文预训练RoBERTa模型
AINLP
30+阅读 · 2019年9月8日
【Github】GPT2-Chinese：中文的GPT2训练代码
【Github】GPT2-Chinese：中文的GPT2训练代码
AINLP
52+阅读 · 2019年8月23日
BERT/Transformer/迁移学习NLP资源大列表
BERT/Transformer/迁移学习NLP资源大列表
专知
19+阅读 · 2019年6月9日
BERT/注意力机制/Transformer/迁移学习NLP资源大列表：awesome-bert-nlp
BERT/注意力机制/Transformer/迁移学习NLP资源大列表：awesome-bert-nlp
AINLP
40+阅读 · 2019年6月9日
站在BERT肩膀上的NLP新秀们：XLMs、MASS和UNILM
站在BERT肩膀上的NLP新秀们：XLMs、MASS和UNILM
PaperWeekly
16+阅读 · 2019年6月6日
Github项目推荐 | awesome-bert：BERT相关资源大列表
Github项目推荐 | awesome-bert：BERT相关资源大列表
AI研习社
27+阅读 · 2019年2月26日
NLP预训练模型大集合
NLP预训练模型大集合
机器学习算法与Python学习
8+阅读 · 2018年12月28日
NLP预训练模型大集合！
NLP预训练模型大集合！
机器之心
21+阅读 · 2018年12月28日
pytorch-pretrained-BERT：BERT PyTorch实现，可加载Google BERT预训练模型
pytorch-pretrained-BERT：BERT PyTorch实现，可加载Google BERT预训练模型
AINLP
35+阅读 · 2018年11月6日
相关论文
Unsupervised Domain Clusters in Pretrained Language Models
Arxiv
11+阅读 · 2020年4月5日
TinyBERT: Distilling BERT for Natural Language Understanding
TinyBERT: Distilling BERT for Natural Language Understanding
Arxiv
11+阅读 · 2019年9月23日
Text Summarization with Pretrained Encoders
Arxiv
5+阅读 · 2019年8月22日
XLNet: Generalized Autoregressive Pretraining for Language Understanding
Arxiv
14+阅读 · 2019年6月19日
Pre-Training with Whole Word Masking for Chinese BERT
Arxiv
11+阅读 · 2019年6月19日
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
Arxiv
16+阅读 · 2019年5月24日
BERT for Joint Intent Classification and Slot Filling
Arxiv
13+阅读 · 2019年2月28日
Multi-Task Deep Neural Networks for Natural Language Understanding
Multi-Task Deep Neural Networks for Natural Language Understanding
Arxiv
3+阅读 · 2019年1月31日
Deep Communicating Agents for Abstractive Summarization
Arxiv
5+阅读 · 2018年3月27日
Multilingual Training and Cross-lingual Adaptation on CTC-based Acoustic Model
Arxiv
7+阅读 · 2018年1月23日
微信扫码咨询专知VIP会员
Top