会员服务
BERT · Transformer · NLP · 预训练模型 · 文献综述 ·
2020 年 2 月 28 日
BERT到底如何work的？A Primer in BERTology: What we know about how BERT works
专知会员服务
专知会员服务
专知，提供专业可信的知识分发服务，让认知协作更快更好！

题目

BERT到底如何work的？A Primer in BERTology: What we know about how BERT works

关键字

BERT,Transformer,NLP,预训练模型，综述，人工智能

简介

基于Transformer的模型现在已在NLP中广泛使用，但我们对其内部运作仍然知之甚少。 本文描述了迄今为止已知的著名BERT模型（Devlin等人，2019），它综合了40多项分析研究。 我们还提供了对模型及其训练方案的拟议修改的概述。 然后，我们概述了进一步研究的方向。

作者

Anna Rogers, olga Kovaleva, Anna Rumshisky

成为VIP会员查看完整内容
https://arxiv.org/pdf/2002.12327.pdf
50

相关内容

BERT全称Bidirectional Encoder Representations from Transformers，是预训练语言表示的方法，可以在大型文本语料库（如维基百科）上训练通用的“语言理解”模型，然后将该模型用于下游NLP任务，比如机器翻译、问答。
KG-BERT：基于BERT的知识图谱补全，KG-BERT: BERT for Knowledge Graph Completion
KG-BERT：基于BERT的知识图谱补全，KG-BERT: BERT for Knowledge Graph Completion
专知会员服务
195+阅读 · 2020年5月31日
【CNN解释器】CNN EXPLAINER: Learning Convolutional Neural Networks with Interactive Visualization Zijie J. Wang, Robert Turko, Omar Shaikh, Haekyu Park, N
【CNN解释器】CNN EXPLAINER: Learning Convolutional Neural Networks with Interactive Visualization Zijie J. Wang, Robert Turko, Omar Shaikh, Haekyu Park, N
专知会员服务
34+阅读 · 2020年4月30日
【论文翻译】2020最新预训练语言模型综述：Pre-trained Models for Natural Language Processing: A Survey
【论文翻译】2020最新预训练语言模型综述：Pre-trained Models for Natural Language Processing: A Survey
专知会员服务
94+阅读 · 2020年4月13日
【华为-诺亚实验室】动态BERT, Dynamic BERT with Adaptive Width and Depth
【华为-诺亚实验室】动态BERT, Dynamic BERT with Adaptive Width and Depth
专知会员服务
24+阅读 · 2020年4月13日
BERT技术体系综述论文：40项分析探究BERT如何work
BERT技术体系综述论文：40项分析探究BERT如何work
专知会员服务
140+阅读 · 2020年3月1日
预训练语言模型究竟捕获了什么？（oLMpics - On what Language Model Pre-training Captures）
预训练语言模型究竟捕获了什么？（oLMpics - On what Language Model Pre-training Captures）
专知会员服务
14+阅读 · 2020年1月3日
【AAAI2020】从BERT归纳关系知识（Inducing Relational Knowledge from BERT），法阿尔图瓦大学副教授Zied Bouraoui、卡迪夫大学讲师Jose Camacho-Collados
【AAAI2020】从BERT归纳关系知识（Inducing Relational Knowledge from BERT），法阿尔图瓦大学副教授Zied Bouraoui、卡迪夫大学讲师Jose Camacho-Collados
专知会员服务
29+阅读 · 2019年12月5日
【文章|BERT三步使用NLP迁移学习】NLP Transfer Learning In 3 Steps
【文章|BERT三步使用NLP迁移学习】NLP Transfer Learning In 3 Steps
专知会员服务
51+阅读 · 2019年11月26日
【CCL 2019】如何微调BERT进行文本分类？（How to Fine-Tune BERT for Text Classification?）
【CCL 2019】如何微调BERT进行文本分类？（How to Fine-Tune BERT for Text Classification?）
专知会员服务
84+阅读 · 2019年10月18日
最新BERT相关论文清单，BERT-related Papers
最新BERT相关论文清单，BERT-related Papers
专知会员服务
53+阅读 · 2019年9月29日
BERT技术体系综述论文：40项分析探究BERT如何work
BERT技术体系综述论文：40项分析探究BERT如何work
专知
50+阅读 · 2020年3月1日
使用BERT做文本摘要
使用BERT做文本摘要
专知
23+阅读 · 2019年12月7日
RoBERTa中文预训练模型：RoBERTa for Chinese
RoBERTa中文预训练模型：RoBERTa for Chinese
PaperWeekly
57+阅读 · 2019年9月16日
ACL 2019 | 理解 BERT 每一层都学到了什么
ACL 2019 | 理解 BERT 每一层都学到了什么
THU数据派
9+阅读 · 2019年9月9日
一大批中文（BERT等）预训练模型等你认领！
一大批中文（BERT等）预训练模型等你认领！
PaperWeekly
15+阅读 · 2019年6月25日
中文版-BERT-预训练的深度双向Transformer语言模型-详细介绍
中文版-BERT-预训练的深度双向Transformer语言模型-详细介绍
深度学习与NLP
32+阅读 · 2019年3月30日
BERT一作Jacob Devlin斯坦福演讲PPT：BERT介绍与答疑
BERT一作Jacob Devlin斯坦福演讲PPT：BERT介绍与答疑
专知
49+阅读 · 2019年3月7日
3分钟看懂史上最强NLP模型BERT
3分钟看懂史上最强NLP模型BERT
新智元
23+阅读 · 2019年2月27日
NLP - 基于 BERT 的中文命名实体识别（NER)
NLP - 基于 BERT 的中文命名实体识别（NER)
AINLP
466+阅读 · 2019年2月10日
如何用最强模型BERT做NLP迁移学习？
如何用最强模型BERT做NLP迁移学习？
AI100
3+阅读 · 2019年2月3日
A Primer in BERTology: What we know about how BERT works
A Primer in BERTology: What we know about how BERT works
Arxiv
34+阅读 · 2020年2月27日
Multi-Stage Document Ranking with BERT
Arxiv
5+阅读 · 2019年10月31日
K-BERT: Enabling Language Representation with Knowledge Graph
K-BERT: Enabling Language Representation with Knowledge Graph
Arxiv
19+阅读 · 2019年9月17日
How Does BERT Answer Questions? A Layer-Wise Analysis of Transformer Representations
Arxiv
4+阅读 · 2019年9月11日
KG-BERT: BERT for Knowledge Graph Completion
Arxiv
15+阅读 · 2019年9月11日
How to Fine-Tune BERT for Text Classification?
How to Fine-Tune BERT for Text Classification?
Arxiv
13+阅读 · 2019年5月14日
You May Not Need Attention
Arxiv
4+阅读 · 2018年10月31日
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
Arxiv
15+阅读 · 2018年10月11日
Knowledge-enriched Two-layered Attention Network for Sentiment Analysis
Arxiv
4+阅读 · 2018年6月16日
Knowledge-based Recurrent Attentive Neural Network for Small Object Detection
Arxiv
3+阅读 · 2018年5月2日
VIP会员
相关主题
BERT
Transformer
NLP
预训练模型
文献综述
最新内容
以色列-美国-伊朗战争中的无人机：关键要点
以色列-美国-伊朗战争中的无人机：关键要点
专知会员服务
1+阅读 · 44分钟前
美以伊战争：首次人工智能战争——军事自主性困境
美以伊战争：首次人工智能战争——军事自主性困境
专知会员服务
1+阅读 · 54分钟前
《Palantir任务保障性软件安全标准（MA-S2）》
《Palantir任务保障性软件安全标准（MA-S2）》
专知会员服务
4+阅读 · 59分钟前
《美海军利用扩展现实增强知识流动研究》300页报告
《美海军利用扩展现实增强知识流动研究》300页报告
专知会员服务
3+阅读 · 今天13:38
基于声学的无人机检测技术综述
基于声学的无人机检测技术综述
专知会员服务
3+阅读 · 今天13:37
《当代混合战争分析框架：俄乌战争经验教训》
《当代混合战争分析框架：俄乌战争经验教训》
专知会员服务
4+阅读 · 今天13:11
生成式AI基础小册子绪论解读：一条数学地基路线，178页pdf
生成式AI基础小册子绪论解读：一条数学地基路线，178页pdf
专知会员服务
9+阅读 · 5月29日
AutoScientists：自组织智能体团队驱动长期科学实验
AutoScientists：自组织智能体团队驱动长期科学实验
专知会员服务
5+阅读 · 5月29日
《阿利·伯克级驱逐舰的战损修理：桌面推演结果》报告
《阿利·伯克级驱逐舰的战损修理：桌面推演结果》报告
专知会员服务
5+阅读 · 5月29日
战略前沿人工智能的再思考（中文）
战略前沿人工智能的再思考（中文）
专知会员服务
7+阅读 · 5月29日
《量化地基防空系统间接效应的博弈论方法》
《量化地基防空系统间接效应的博弈论方法》
专知会员服务
5+阅读 · 5月29日
传感器网络：美国如何探测来自伊朗的导弹与无人机
传感器网络：美国如何探测来自伊朗的导弹与无人机
专知会员服务
6+阅读 · 5月29日
《无人机战争中的经济不对称：伊朗“沙赫德-136”对抗以色列“铁穹”防御系统的案例研究》
《无人机战争中的经济不对称：伊朗“沙赫德-136”对抗以色列“铁穹”防御系统的案例研究》
专知会员服务
8+阅读 · 5月29日
“史诗怒火行动”中美军损失的作战飞机
“史诗怒火行动”中美军损失的作战飞机
专知会员服务
6+阅读 · 5月29日
ICML 2026 | 理解上下文持续学习中的泛化与遗忘
ICML 2026 | 理解上下文持续学习中的泛化与遗忘
专知会员服务
5+阅读 · 5月28日
相关VIP内容
KG-BERT：基于BERT的知识图谱补全，KG-BERT: BERT for Knowledge Graph Completion
KG-BERT：基于BERT的知识图谱补全，KG-BERT: BERT for Knowledge Graph Completion
专知会员服务
195+阅读 · 2020年5月31日
【CNN解释器】CNN EXPLAINER: Learning Convolutional Neural Networks with Interactive Visualization Zijie J. Wang, Robert Turko, Omar Shaikh, Haekyu Park, N
【CNN解释器】CNN EXPLAINER: Learning Convolutional Neural Networks with Interactive Visualization Zijie J. Wang, Robert Turko, Omar Shaikh, Haekyu Park, N
专知会员服务
34+阅读 · 2020年4月30日
【论文翻译】2020最新预训练语言模型综述：Pre-trained Models for Natural Language Processing: A Survey
【论文翻译】2020最新预训练语言模型综述：Pre-trained Models for Natural Language Processing: A Survey
专知会员服务
94+阅读 · 2020年4月13日
【华为-诺亚实验室】动态BERT, Dynamic BERT with Adaptive Width and Depth
【华为-诺亚实验室】动态BERT, Dynamic BERT with Adaptive Width and Depth
专知会员服务
24+阅读 · 2020年4月13日
BERT技术体系综述论文：40项分析探究BERT如何work
BERT技术体系综述论文：40项分析探究BERT如何work
专知会员服务
140+阅读 · 2020年3月1日
预训练语言模型究竟捕获了什么？（oLMpics - On what Language Model Pre-training Captures）
预训练语言模型究竟捕获了什么？（oLMpics - On what Language Model Pre-training Captures）
专知会员服务
14+阅读 · 2020年1月3日
【AAAI2020】从BERT归纳关系知识（Inducing Relational Knowledge from BERT），法阿尔图瓦大学副教授Zied Bouraoui、卡迪夫大学讲师Jose Camacho-Collados
【AAAI2020】从BERT归纳关系知识（Inducing Relational Knowledge from BERT），法阿尔图瓦大学副教授Zied Bouraoui、卡迪夫大学讲师Jose Camacho-Collados
专知会员服务
29+阅读 · 2019年12月5日
【文章|BERT三步使用NLP迁移学习】NLP Transfer Learning In 3 Steps
【文章|BERT三步使用NLP迁移学习】NLP Transfer Learning In 3 Steps
专知会员服务
51+阅读 · 2019年11月26日
【CCL 2019】如何微调BERT进行文本分类？（How to Fine-Tune BERT for Text Classification?）
【CCL 2019】如何微调BERT进行文本分类？（How to Fine-Tune BERT for Text Classification?）
专知会员服务
84+阅读 · 2019年10月18日
最新BERT相关论文清单，BERT-related Papers
最新BERT相关论文清单，BERT-related Papers
专知会员服务
53+阅读 · 2019年9月29日
热门VIP内容
相关资讯
BERT技术体系综述论文：40项分析探究BERT如何work
BERT技术体系综述论文：40项分析探究BERT如何work
专知
50+阅读 · 2020年3月1日
使用BERT做文本摘要
使用BERT做文本摘要
专知
23+阅读 · 2019年12月7日
RoBERTa中文预训练模型：RoBERTa for Chinese
RoBERTa中文预训练模型：RoBERTa for Chinese
PaperWeekly
57+阅读 · 2019年9月16日
ACL 2019 | 理解 BERT 每一层都学到了什么
ACL 2019 | 理解 BERT 每一层都学到了什么
THU数据派
9+阅读 · 2019年9月9日
一大批中文（BERT等）预训练模型等你认领！
一大批中文（BERT等）预训练模型等你认领！
PaperWeekly
15+阅读 · 2019年6月25日
中文版-BERT-预训练的深度双向Transformer语言模型-详细介绍
中文版-BERT-预训练的深度双向Transformer语言模型-详细介绍
深度学习与NLP
32+阅读 · 2019年3月30日
BERT一作Jacob Devlin斯坦福演讲PPT：BERT介绍与答疑
BERT一作Jacob Devlin斯坦福演讲PPT：BERT介绍与答疑
专知
49+阅读 · 2019年3月7日
3分钟看懂史上最强NLP模型BERT
3分钟看懂史上最强NLP模型BERT
新智元
23+阅读 · 2019年2月27日
NLP - 基于 BERT 的中文命名实体识别（NER)
NLP - 基于 BERT 的中文命名实体识别（NER)
AINLP
466+阅读 · 2019年2月10日
如何用最强模型BERT做NLP迁移学习？
如何用最强模型BERT做NLP迁移学习？
AI100
3+阅读 · 2019年2月3日
相关论文
A Primer in BERTology: What we know about how BERT works
A Primer in BERTology: What we know about how BERT works
Arxiv
34+阅读 · 2020年2月27日
Multi-Stage Document Ranking with BERT
Arxiv
5+阅读 · 2019年10月31日
K-BERT: Enabling Language Representation with Knowledge Graph
K-BERT: Enabling Language Representation with Knowledge Graph
Arxiv
19+阅读 · 2019年9月17日
How Does BERT Answer Questions? A Layer-Wise Analysis of Transformer Representations
Arxiv
4+阅读 · 2019年9月11日
KG-BERT: BERT for Knowledge Graph Completion
Arxiv
15+阅读 · 2019年9月11日
How to Fine-Tune BERT for Text Classification?
How to Fine-Tune BERT for Text Classification?
Arxiv
13+阅读 · 2019年5月14日
You May Not Need Attention
Arxiv
4+阅读 · 2018年10月31日
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
Arxiv
15+阅读 · 2018年10月11日
Knowledge-enriched Two-layered Attention Network for Sentiment Analysis
Arxiv
4+阅读 · 2018年6月16日
Knowledge-based Recurrent Attentive Neural Network for Small Object Detection
Arxiv
3+阅读 · 2018年5月2日
微信扫码咨询专知VIP会员
Top