会员服务
BERT · 预训练语言模型 · 自然语言处理 ·
2020 年 1 月 30 日
【跨语言BERT模型大集合】Transfer learning is increasingly going multilingual with language-specific BERT models
专知会员服务
专知会员服务
专知，提供专业可信的知识分发服务，让认知协作更快更好！

目录

  • German BERT deepset - Open Sourcing German BERT
  • CamemBERT
  • Flau-BERT [1912.05372] FlauBERT: Unsupervised Language Model Pre-training for French
  • AlBERTo
  • RobBERT [2001.06286] RobBERT: RobBERT: a Dutch RoBERTa-based Language Model
  • RuBERT [1912.09582] BERTje: A Dutch BERT Model
  • BETO
  • BERTje
  • Portuguese BERT
  • German BERT&Italian BERT
成为VIP会员查看完整内容
https://twitter.com/seb_ruder/status/1221851361811128321
deepset - Open Sourcing German BERT CamemBERT FlauBERT: Unsupervised Language Model Pre-training for French AlBERTo RobBERT: a Dutch RoBERTa-based Language Model BERTje: A Dutch BERT Model Portuguese BERT German BERT&Italian BERT
54

相关内容

BERT全称Bidirectional Encoder Representations from Transformers，是预训练语言表示的方法，可以在大型文本语料库（如维基百科）上训练通用的“语言理解”模型，然后将该模型用于下游NLP任务，比如机器翻译、问答。
【ACL2020】不要停止预训练:根据领域和任务自适应调整语言模型，Don't Stop Pretraining: Adapt Language Models to Domains and Tasks
【ACL2020】不要停止预训练:根据领域和任务自适应调整语言模型，Don't Stop Pretraining: Adapt Language Models to Domains and Tasks
专知会员服务
46+阅读 · 2020年4月25日
【论文翻译】2020最新预训练语言模型综述：Pre-trained Models for Natural Language Processing: A Survey
【论文翻译】2020最新预训练语言模型综述：Pre-trained Models for Natural Language Processing: A Survey
专知会员服务
94+阅读 · 2020年4月13日
【Amazon】使用预先训练的Transformer模型进行数据增强，Data Augmentation using Pre-trained Transformer Models
【Amazon】使用预先训练的Transformer模型进行数据增强，Data Augmentation using Pre-trained Transformer Models
专知会员服务
51+阅读 · 2020年3月7日
【微软亚洲研究院】CodeBERT:用于编程和自然语言的预训练模型，CodeBERT: A Pre-Trained Model for Programming and Natural Languages
【微软亚洲研究院】CodeBERT:用于编程和自然语言的预训练模型，CodeBERT: A Pre-Trained Model for Programming and Natural Languages
专知会员服务
32+阅读 · 2020年2月21日
【微软研究院】IMAGEBERT: CROSS-MODAL PRE-TRAINING WITH LARGE-SCALE WEAK-SUPERVISED IMAGE-TEXT DATA
【微软研究院】IMAGEBERT: CROSS-MODAL PRE-TRAINING WITH LARGE-SCALE WEAK-SUPERVISED IMAGE-TEXT DATA
专知会员服务
43+阅读 · 2020年1月28日
【ICLR2020 预训练的百科全书】弱监督的知识-预训练的语言模型（PRETRAINED ENCYCLOPEDIA: WEAKLY SUPERVISED KNOWLEDGE-PRETRAINED LANGUAGE MODEL）
【ICLR2020 预训练的百科全书】弱监督的知识-预训练的语言模型（PRETRAINED ENCYCLOPEDIA: WEAKLY SUPERVISED KNOWLEDGE-PRETRAINED LANGUAGE MODEL）
专知会员服务
25+阅读 · 2019年12月26日
【Google论文强烈推荐】ALBERT:基于精简BERT的自我监督学习的语言表示，ALBERT: A Lite BERT for Self-Supervised Learning of Language Representations
【Google论文强烈推荐】ALBERT:基于精简BERT的自我监督学习的语言表示，ALBERT: A Lite BERT for Self-Supervised Learning of Language Representations
专知会员服务
24+阅读 · 2019年12月21日
【NLP模型的跨语言/跨领域迁移】《Transferring NLP models across languages and domains》
【NLP模型的跨语言/跨领域迁移】《Transferring NLP models across languages and domains》
专知会员服务
43+阅读 · 2019年11月25日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
164+阅读 · 2019年10月12日
最新BERT相关论文清单，BERT-related Papers
最新BERT相关论文清单，BERT-related Papers
专知会员服务
53+阅读 · 2019年9月29日
RoBERTa中文预训练模型：RoBERTa for Chinese
RoBERTa中文预训练模型：RoBERTa for Chinese
PaperWeekly
57+阅读 · 2019年9月16日
RoBERTa for Chinese：大规模中文预训练RoBERTa模型
RoBERTa for Chinese：大规模中文预训练RoBERTa模型
AINLP
30+阅读 · 2019年9月8日
【Github】GPT2-Chinese：中文的GPT2训练代码
【Github】GPT2-Chinese：中文的GPT2训练代码
AINLP
52+阅读 · 2019年8月23日
BERT/Transformer/迁移学习NLP资源大列表
BERT/Transformer/迁移学习NLP资源大列表
专知
19+阅读 · 2019年6月9日
BERT/注意力机制/Transformer/迁移学习NLP资源大列表：awesome-bert-nlp
BERT/注意力机制/Transformer/迁移学习NLP资源大列表：awesome-bert-nlp
AINLP
40+阅读 · 2019年6月9日
站在BERT肩膀上的NLP新秀们：XLMs、MASS和UNILM
站在BERT肩膀上的NLP新秀们：XLMs、MASS和UNILM
PaperWeekly
16+阅读 · 2019年6月6日
Github项目推荐 | awesome-bert：BERT相关资源大列表
Github项目推荐 | awesome-bert：BERT相关资源大列表
AI研习社
27+阅读 · 2019年2月26日
NLP预训练模型大集合
NLP预训练模型大集合
机器学习算法与Python学习
8+阅读 · 2018年12月28日
NLP预训练模型大集合！
NLP预训练模型大集合！
机器之心
21+阅读 · 2018年12月28日
pytorch-pretrained-BERT：BERT PyTorch实现，可加载Google BERT预训练模型
pytorch-pretrained-BERT：BERT PyTorch实现，可加载Google BERT预训练模型
AINLP
35+阅读 · 2018年11月6日
Unsupervised Domain Clusters in Pretrained Language Models
Arxiv
11+阅读 · 2020年4月5日
TinyBERT: Distilling BERT for Natural Language Understanding
TinyBERT: Distilling BERT for Natural Language Understanding
Arxiv
11+阅读 · 2019年9月23日
Text Summarization with Pretrained Encoders
Arxiv
5+阅读 · 2019年8月22日
XLNet: Generalized Autoregressive Pretraining for Language Understanding
Arxiv
14+阅读 · 2019年6月19日
Pre-Training with Whole Word Masking for Chinese BERT
Arxiv
11+阅读 · 2019年6月19日
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
Arxiv
16+阅读 · 2019年5月24日
BERT for Joint Intent Classification and Slot Filling
Arxiv
13+阅读 · 2019年2月28日
Multi-Task Deep Neural Networks for Natural Language Understanding
Multi-Task Deep Neural Networks for Natural Language Understanding
Arxiv
3+阅读 · 2019年1月31日
Deep Communicating Agents for Abstractive Summarization
Arxiv
5+阅读 · 2018年3月27日
Multilingual Training and Cross-lingual Adaptation on CTC-based Acoustic Model
Arxiv
7+阅读 · 2018年1月23日
VIP会员
相关主题
BERT
预训练语言模型
自然语言处理
最新内容
面向军事作战需求开发的人工智能（RAIMOND）
面向军事作战需求开发的人工智能（RAIMOND）
专知会员服务
0+阅读 · 31分钟前
检测算法战：一个识别军事行动中人工智能特征的框架
检测算法战：一个识别军事行动中人工智能特征的框架
专知会员服务
0+阅读 · 44分钟前
软件定义多域战术网络：基础与未来方向（综述）
软件定义多域战术网络：基础与未来方向（综述）
专知会员服务
1+阅读 · 47分钟前
水下战战术决策中的气象与海洋预报（50页报告）
水下战战术决策中的气象与海洋预报（50页报告）
专知会员服务
0+阅读 · 52分钟前
远程空中优势：新一代超视距导弹的兴起
远程空中优势：新一代超视距导弹的兴起
专知会员服务
1+阅读 · 59分钟前
大语言模型溯因推理的统一分类学与综述
大语言模型溯因推理的统一分类学与综述
专知会员服务
0+阅读 · 今天12:07
CVPR 2026 Findings | 算力砍半、性能不降！全开源 A₁模型：让机器人大模型真正走向落地
CVPR 2026 Findings | 算力砍半、性能不降！全开源 A₁模型：让机器人大模型真正走向落地
专知会员服务
0+阅读 · 今天11:54
大语言模型与国防战略：升级风险与国家安全挑战（综述）
大语言模型与国防战略：升级风险与国家安全挑战（综述）
专知会员服务
6+阅读 · 今天4:52
《基于机器学习预测模型识别新型超视距战术及DARPA AIR智能体误差分析》
《基于机器学习预测模型识别新型超视距战术及DARPA AIR智能体误差分析》
专知会员服务
9+阅读 · 4月11日
以机器速度作战：人工智能与美陆军反火力作战——第二部分
以机器速度作战：人工智能与美陆军反火力作战——第二部分
专知会员服务
8+阅读 · 4月11日
以机器速度作战：人工智能与美陆军反火力作战——第一部分
以机器速度作战：人工智能与美陆军反火力作战——第一部分
专知会员服务
7+阅读 · 4月11日
大视觉语言模型的高效推理：瓶颈剖析、关键技术与未来展望
大视觉语言模型的高效推理：瓶颈剖析、关键技术与未来展望
专知会员服务
6+阅读 · 4月11日
面向空中机器人的视觉语言导航：迈向大语言模型时代
面向空中机器人的视觉语言导航：迈向大语言模型时代
专知会员服务
7+阅读 · 4月11日
美/以-伊战争：停火与后续情景与影响分析
美/以-伊战争：停火与后续情景与影响分析
专知会员服务
3+阅读 · 4月11日
《美军如何实现快速、持续的小型无人机系统采办策略研究》最新110页
《美军如何实现快速、持续的小型无人机系统采办策略研究》最新110页
专知会员服务
7+阅读 · 4月11日
相关VIP内容
【ACL2020】不要停止预训练:根据领域和任务自适应调整语言模型，Don't Stop Pretraining: Adapt Language Models to Domains and Tasks
【ACL2020】不要停止预训练:根据领域和任务自适应调整语言模型，Don't Stop Pretraining: Adapt Language Models to Domains and Tasks
专知会员服务
46+阅读 · 2020年4月25日
【论文翻译】2020最新预训练语言模型综述：Pre-trained Models for Natural Language Processing: A Survey
【论文翻译】2020最新预训练语言模型综述：Pre-trained Models for Natural Language Processing: A Survey
专知会员服务
94+阅读 · 2020年4月13日
【Amazon】使用预先训练的Transformer模型进行数据增强，Data Augmentation using Pre-trained Transformer Models
【Amazon】使用预先训练的Transformer模型进行数据增强，Data Augmentation using Pre-trained Transformer Models
专知会员服务
51+阅读 · 2020年3月7日
【微软亚洲研究院】CodeBERT:用于编程和自然语言的预训练模型，CodeBERT: A Pre-Trained Model for Programming and Natural Languages
【微软亚洲研究院】CodeBERT:用于编程和自然语言的预训练模型，CodeBERT: A Pre-Trained Model for Programming and Natural Languages
专知会员服务
32+阅读 · 2020年2月21日
【微软研究院】IMAGEBERT: CROSS-MODAL PRE-TRAINING WITH LARGE-SCALE WEAK-SUPERVISED IMAGE-TEXT DATA
【微软研究院】IMAGEBERT: CROSS-MODAL PRE-TRAINING WITH LARGE-SCALE WEAK-SUPERVISED IMAGE-TEXT DATA
专知会员服务
43+阅读 · 2020年1月28日
【ICLR2020 预训练的百科全书】弱监督的知识-预训练的语言模型（PRETRAINED ENCYCLOPEDIA: WEAKLY SUPERVISED KNOWLEDGE-PRETRAINED LANGUAGE MODEL）
【ICLR2020 预训练的百科全书】弱监督的知识-预训练的语言模型（PRETRAINED ENCYCLOPEDIA: WEAKLY SUPERVISED KNOWLEDGE-PRETRAINED LANGUAGE MODEL）
专知会员服务
25+阅读 · 2019年12月26日
【Google论文强烈推荐】ALBERT:基于精简BERT的自我监督学习的语言表示，ALBERT: A Lite BERT for Self-Supervised Learning of Language Representations
【Google论文强烈推荐】ALBERT:基于精简BERT的自我监督学习的语言表示，ALBERT: A Lite BERT for Self-Supervised Learning of Language Representations
专知会员服务
24+阅读 · 2019年12月21日
【NLP模型的跨语言/跨领域迁移】《Transferring NLP models across languages and domains》
【NLP模型的跨语言/跨领域迁移】《Transferring NLP models across languages and domains》
专知会员服务
43+阅读 · 2019年11月25日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
164+阅读 · 2019年10月12日
最新BERT相关论文清单，BERT-related Papers
最新BERT相关论文清单，BERT-related Papers
专知会员服务
53+阅读 · 2019年9月29日
热门VIP内容
相关资讯
RoBERTa中文预训练模型：RoBERTa for Chinese
RoBERTa中文预训练模型：RoBERTa for Chinese
PaperWeekly
57+阅读 · 2019年9月16日
RoBERTa for Chinese：大规模中文预训练RoBERTa模型
RoBERTa for Chinese：大规模中文预训练RoBERTa模型
AINLP
30+阅读 · 2019年9月8日
【Github】GPT2-Chinese：中文的GPT2训练代码
【Github】GPT2-Chinese：中文的GPT2训练代码
AINLP
52+阅读 · 2019年8月23日
BERT/Transformer/迁移学习NLP资源大列表
BERT/Transformer/迁移学习NLP资源大列表
专知
19+阅读 · 2019年6月9日
BERT/注意力机制/Transformer/迁移学习NLP资源大列表：awesome-bert-nlp
BERT/注意力机制/Transformer/迁移学习NLP资源大列表：awesome-bert-nlp
AINLP
40+阅读 · 2019年6月9日
站在BERT肩膀上的NLP新秀们：XLMs、MASS和UNILM
站在BERT肩膀上的NLP新秀们：XLMs、MASS和UNILM
PaperWeekly
16+阅读 · 2019年6月6日
Github项目推荐 | awesome-bert：BERT相关资源大列表
Github项目推荐 | awesome-bert：BERT相关资源大列表
AI研习社
27+阅读 · 2019年2月26日
NLP预训练模型大集合
NLP预训练模型大集合
机器学习算法与Python学习
8+阅读 · 2018年12月28日
NLP预训练模型大集合！
NLP预训练模型大集合！
机器之心
21+阅读 · 2018年12月28日
pytorch-pretrained-BERT：BERT PyTorch实现，可加载Google BERT预训练模型
pytorch-pretrained-BERT：BERT PyTorch实现，可加载Google BERT预训练模型
AINLP
35+阅读 · 2018年11月6日
相关论文
Unsupervised Domain Clusters in Pretrained Language Models
Arxiv
11+阅读 · 2020年4月5日
TinyBERT: Distilling BERT for Natural Language Understanding
TinyBERT: Distilling BERT for Natural Language Understanding
Arxiv
11+阅读 · 2019年9月23日
Text Summarization with Pretrained Encoders
Arxiv
5+阅读 · 2019年8月22日
XLNet: Generalized Autoregressive Pretraining for Language Understanding
Arxiv
14+阅读 · 2019年6月19日
Pre-Training with Whole Word Masking for Chinese BERT
Arxiv
11+阅读 · 2019年6月19日
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
Arxiv
16+阅读 · 2019年5月24日
BERT for Joint Intent Classification and Slot Filling
Arxiv
13+阅读 · 2019年2月28日
Multi-Task Deep Neural Networks for Natural Language Understanding
Multi-Task Deep Neural Networks for Natural Language Understanding
Arxiv
3+阅读 · 2019年1月31日
Deep Communicating Agents for Abstractive Summarization
Arxiv
5+阅读 · 2018年3月27日
Multilingual Training and Cross-lingual Adaptation on CTC-based Acoustic Model
Arxiv
7+阅读 · 2018年1月23日
微信扫码咨询专知VIP会员
Top