会员服务
BERT · Transformer · NLP · 预训练模型 · 文献综述 ·
2020 年 2 月 28 日
BERT到底如何work的？A Primer in BERTology: What we know about how BERT works
专知会员服务
专知会员服务
专知，提供专业可信的知识分发服务，让认知协作更快更好！

题目

BERT到底如何work的？A Primer in BERTology: What we know about how BERT works

关键字

BERT,Transformer,NLP,预训练模型，综述，人工智能

简介

基于Transformer的模型现在已在NLP中广泛使用，但我们对其内部运作仍然知之甚少。 本文描述了迄今为止已知的著名BERT模型（Devlin等人，2019），它综合了40多项分析研究。 我们还提供了对模型及其训练方案的拟议修改的概述。 然后，我们概述了进一步研究的方向。

作者

Anna Rogers, olga Kovaleva, Anna Rumshisky

成为VIP会员查看完整内容
https://arxiv.org/pdf/2002.12327.pdf
50

相关内容

BERT全称Bidirectional Encoder Representations from Transformers，是预训练语言表示的方法，可以在大型文本语料库（如维基百科）上训练通用的“语言理解”模型，然后将该模型用于下游NLP任务，比如机器翻译、问答。
KG-BERT：基于BERT的知识图谱补全，KG-BERT: BERT for Knowledge Graph Completion
KG-BERT：基于BERT的知识图谱补全，KG-BERT: BERT for Knowledge Graph Completion
专知会员服务
195+阅读 · 2020年5月31日
【CNN解释器】CNN EXPLAINER: Learning Convolutional Neural Networks with Interactive Visualization Zijie J. Wang, Robert Turko, Omar Shaikh, Haekyu Park, N
【CNN解释器】CNN EXPLAINER: Learning Convolutional Neural Networks with Interactive Visualization Zijie J. Wang, Robert Turko, Omar Shaikh, Haekyu Park, N
专知会员服务
34+阅读 · 2020年4月30日
【论文翻译】2020最新预训练语言模型综述：Pre-trained Models for Natural Language Processing: A Survey
【论文翻译】2020最新预训练语言模型综述：Pre-trained Models for Natural Language Processing: A Survey
专知会员服务
94+阅读 · 2020年4月13日
【华为-诺亚实验室】动态BERT, Dynamic BERT with Adaptive Width and Depth
【华为-诺亚实验室】动态BERT, Dynamic BERT with Adaptive Width and Depth
专知会员服务
24+阅读 · 2020年4月13日
BERT技术体系综述论文：40项分析探究BERT如何work
BERT技术体系综述论文：40项分析探究BERT如何work
专知会员服务
140+阅读 · 2020年3月1日
预训练语言模型究竟捕获了什么？（oLMpics - On what Language Model Pre-training Captures）
预训练语言模型究竟捕获了什么？（oLMpics - On what Language Model Pre-training Captures）
专知会员服务
14+阅读 · 2020年1月3日
【AAAI2020】从BERT归纳关系知识（Inducing Relational Knowledge from BERT），法阿尔图瓦大学副教授Zied Bouraoui、卡迪夫大学讲师Jose Camacho-Collados
【AAAI2020】从BERT归纳关系知识（Inducing Relational Knowledge from BERT），法阿尔图瓦大学副教授Zied Bouraoui、卡迪夫大学讲师Jose Camacho-Collados
专知会员服务
29+阅读 · 2019年12月5日
【文章|BERT三步使用NLP迁移学习】NLP Transfer Learning In 3 Steps
【文章|BERT三步使用NLP迁移学习】NLP Transfer Learning In 3 Steps
专知会员服务
51+阅读 · 2019年11月26日
【CCL 2019】如何微调BERT进行文本分类？（How to Fine-Tune BERT for Text Classification?）
【CCL 2019】如何微调BERT进行文本分类？（How to Fine-Tune BERT for Text Classification?）
专知会员服务
84+阅读 · 2019年10月18日
最新BERT相关论文清单，BERT-related Papers
最新BERT相关论文清单，BERT-related Papers
专知会员服务
53+阅读 · 2019年9月29日
BERT技术体系综述论文：40项分析探究BERT如何work
BERT技术体系综述论文：40项分析探究BERT如何work
专知
50+阅读 · 2020年3月1日
使用BERT做文本摘要
使用BERT做文本摘要
专知
23+阅读 · 2019年12月7日
RoBERTa中文预训练模型：RoBERTa for Chinese
RoBERTa中文预训练模型：RoBERTa for Chinese
PaperWeekly
57+阅读 · 2019年9月16日
ACL 2019 | 理解 BERT 每一层都学到了什么
ACL 2019 | 理解 BERT 每一层都学到了什么
THU数据派
9+阅读 · 2019年9月9日
一大批中文（BERT等）预训练模型等你认领！
一大批中文（BERT等）预训练模型等你认领！
PaperWeekly
15+阅读 · 2019年6月25日
中文版-BERT-预训练的深度双向Transformer语言模型-详细介绍
中文版-BERT-预训练的深度双向Transformer语言模型-详细介绍
深度学习与NLP
32+阅读 · 2019年3月30日
BERT一作Jacob Devlin斯坦福演讲PPT：BERT介绍与答疑
BERT一作Jacob Devlin斯坦福演讲PPT：BERT介绍与答疑
专知
49+阅读 · 2019年3月7日
3分钟看懂史上最强NLP模型BERT
3分钟看懂史上最强NLP模型BERT
新智元
23+阅读 · 2019年2月27日
NLP - 基于 BERT 的中文命名实体识别（NER)
NLP - 基于 BERT 的中文命名实体识别（NER)
AINLP
466+阅读 · 2019年2月10日
如何用最强模型BERT做NLP迁移学习？
如何用最强模型BERT做NLP迁移学习？
AI100
3+阅读 · 2019年2月3日
A Primer in BERTology: What we know about how BERT works
A Primer in BERTology: What we know about how BERT works
Arxiv
34+阅读 · 2020年2月27日
Multi-Stage Document Ranking with BERT
Arxiv
5+阅读 · 2019年10月31日
K-BERT: Enabling Language Representation with Knowledge Graph
K-BERT: Enabling Language Representation with Knowledge Graph
Arxiv
19+阅读 · 2019年9月17日
How Does BERT Answer Questions? A Layer-Wise Analysis of Transformer Representations
Arxiv
4+阅读 · 2019年9月11日
KG-BERT: BERT for Knowledge Graph Completion
Arxiv
15+阅读 · 2019年9月11日
How to Fine-Tune BERT for Text Classification?
How to Fine-Tune BERT for Text Classification?
Arxiv
13+阅读 · 2019年5月14日
You May Not Need Attention
Arxiv
4+阅读 · 2018年10月31日
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
Arxiv
15+阅读 · 2018年10月11日
Knowledge-enriched Two-layered Attention Network for Sentiment Analysis
Arxiv
4+阅读 · 2018年6月16日
Knowledge-based Recurrent Attentive Neural Network for Small Object Detection
Arxiv
3+阅读 · 2018年5月2日
VIP会员
相关主题
BERT
Transformer
NLP
预训练模型
文献综述
最新内容
2026 年 Agentic AI 工程师完全指南：一份系统化的学习路线图
2026 年 Agentic AI 工程师完全指南：一份系统化的学习路线图
专知会员服务
9+阅读 · 4月14日
内省扩散语言模型
内省扩散语言模型
专知会员服务
4+阅读 · 4月14日
美伊停火协议：评估、各方反应及美国会面临的问题
美伊停火协议：评估、各方反应及美国会面临的问题
专知会员服务
4+阅读 · 4月14日
国外反无人机系统与技术动态
国外反无人机系统与技术动态
专知会员服务
3+阅读 · 4月14日
世界无人无线电情报系统经验分析与实验实现（研究论文）
世界无人无线电情报系统经验分析与实验实现（研究论文）
专知会员服务
7+阅读 · 4月14日
大规模作战行动中的战术作战评估（研究论文）
大规模作战行动中的战术作战评估（研究论文）
专知会员服务
7+阅读 · 4月14日
（中文长文）城市战与小部队城市战术：来自俄乌战争的观察
（中文长文）城市战与小部队城市战术：来自俄乌战争的观察
专知会员服务
5+阅读 · 4月14日
未来的海战无人自主系统
未来的海战无人自主系统
专知会员服务
3+阅读 · 4月14日
美军多域作战现状分析：战略、概念还是幻想？
美军多域作战现状分析：战略、概念还是幻想？
专知会员服务
5+阅读 · 4月14日
（中文万字长文）美智库：针对伊朗的防空作战分析（报告）
（中文万字长文）美智库：针对伊朗的防空作战分析（报告）
专知会员服务
20+阅读 · 4月14日
无人机与反无人机系统（书籍）
无人机与反无人机系统（书籍）
专知会员服务
19+阅读 · 4月14日
（中文万字长文）2025-2026年乌克兰无人机拦截技术演进：反无人机技术、项目、效果、西方援助
（中文万字长文）2025-2026年乌克兰无人机拦截技术演进：反无人机技术、项目、效果、西方援助
专知会员服务
7+阅读 · 4月14日
美陆军2026条令：安全与机动支援
美陆军2026条令：安全与机动支援
专知会员服务
9+阅读 · 4月14日
【牛津博士论文】以语言为接口的医学影像表示学习
【牛津博士论文】以语言为接口的医学影像表示学习
专知会员服务
12+阅读 · 4月13日
基于大语言模型的医疗推理研究：综述与 MR-Bench 基准测试
基于大语言模型的医疗推理研究：综述与 MR-Bench 基准测试
专知会员服务
10+阅读 · 4月13日
相关VIP内容
KG-BERT：基于BERT的知识图谱补全，KG-BERT: BERT for Knowledge Graph Completion
KG-BERT：基于BERT的知识图谱补全，KG-BERT: BERT for Knowledge Graph Completion
专知会员服务
195+阅读 · 2020年5月31日
【CNN解释器】CNN EXPLAINER: Learning Convolutional Neural Networks with Interactive Visualization Zijie J. Wang, Robert Turko, Omar Shaikh, Haekyu Park, N
【CNN解释器】CNN EXPLAINER: Learning Convolutional Neural Networks with Interactive Visualization Zijie J. Wang, Robert Turko, Omar Shaikh, Haekyu Park, N
专知会员服务
34+阅读 · 2020年4月30日
【论文翻译】2020最新预训练语言模型综述：Pre-trained Models for Natural Language Processing: A Survey
【论文翻译】2020最新预训练语言模型综述：Pre-trained Models for Natural Language Processing: A Survey
专知会员服务
94+阅读 · 2020年4月13日
【华为-诺亚实验室】动态BERT, Dynamic BERT with Adaptive Width and Depth
【华为-诺亚实验室】动态BERT, Dynamic BERT with Adaptive Width and Depth
专知会员服务
24+阅读 · 2020年4月13日
BERT技术体系综述论文：40项分析探究BERT如何work
BERT技术体系综述论文：40项分析探究BERT如何work
专知会员服务
140+阅读 · 2020年3月1日
预训练语言模型究竟捕获了什么？（oLMpics - On what Language Model Pre-training Captures）
预训练语言模型究竟捕获了什么？（oLMpics - On what Language Model Pre-training Captures）
专知会员服务
14+阅读 · 2020年1月3日
【AAAI2020】从BERT归纳关系知识（Inducing Relational Knowledge from BERT），法阿尔图瓦大学副教授Zied Bouraoui、卡迪夫大学讲师Jose Camacho-Collados
【AAAI2020】从BERT归纳关系知识（Inducing Relational Knowledge from BERT），法阿尔图瓦大学副教授Zied Bouraoui、卡迪夫大学讲师Jose Camacho-Collados
专知会员服务
29+阅读 · 2019年12月5日
【文章|BERT三步使用NLP迁移学习】NLP Transfer Learning In 3 Steps
【文章|BERT三步使用NLP迁移学习】NLP Transfer Learning In 3 Steps
专知会员服务
51+阅读 · 2019年11月26日
【CCL 2019】如何微调BERT进行文本分类？（How to Fine-Tune BERT for Text Classification?）
【CCL 2019】如何微调BERT进行文本分类？（How to Fine-Tune BERT for Text Classification?）
专知会员服务
84+阅读 · 2019年10月18日
最新BERT相关论文清单，BERT-related Papers
最新BERT相关论文清单，BERT-related Papers
专知会员服务
53+阅读 · 2019年9月29日
热门VIP内容
相关资讯
BERT技术体系综述论文：40项分析探究BERT如何work
BERT技术体系综述论文：40项分析探究BERT如何work
专知
50+阅读 · 2020年3月1日
使用BERT做文本摘要
使用BERT做文本摘要
专知
23+阅读 · 2019年12月7日
RoBERTa中文预训练模型：RoBERTa for Chinese
RoBERTa中文预训练模型：RoBERTa for Chinese
PaperWeekly
57+阅读 · 2019年9月16日
ACL 2019 | 理解 BERT 每一层都学到了什么
ACL 2019 | 理解 BERT 每一层都学到了什么
THU数据派
9+阅读 · 2019年9月9日
一大批中文（BERT等）预训练模型等你认领！
一大批中文（BERT等）预训练模型等你认领！
PaperWeekly
15+阅读 · 2019年6月25日
中文版-BERT-预训练的深度双向Transformer语言模型-详细介绍
中文版-BERT-预训练的深度双向Transformer语言模型-详细介绍
深度学习与NLP
32+阅读 · 2019年3月30日
BERT一作Jacob Devlin斯坦福演讲PPT：BERT介绍与答疑
BERT一作Jacob Devlin斯坦福演讲PPT：BERT介绍与答疑
专知
49+阅读 · 2019年3月7日
3分钟看懂史上最强NLP模型BERT
3分钟看懂史上最强NLP模型BERT
新智元
23+阅读 · 2019年2月27日
NLP - 基于 BERT 的中文命名实体识别（NER)
NLP - 基于 BERT 的中文命名实体识别（NER)
AINLP
466+阅读 · 2019年2月10日
如何用最强模型BERT做NLP迁移学习？
如何用最强模型BERT做NLP迁移学习？
AI100
3+阅读 · 2019年2月3日
相关论文
A Primer in BERTology: What we know about how BERT works
A Primer in BERTology: What we know about how BERT works
Arxiv
34+阅读 · 2020年2月27日
Multi-Stage Document Ranking with BERT
Arxiv
5+阅读 · 2019年10月31日
K-BERT: Enabling Language Representation with Knowledge Graph
K-BERT: Enabling Language Representation with Knowledge Graph
Arxiv
19+阅读 · 2019年9月17日
How Does BERT Answer Questions? A Layer-Wise Analysis of Transformer Representations
Arxiv
4+阅读 · 2019年9月11日
KG-BERT: BERT for Knowledge Graph Completion
Arxiv
15+阅读 · 2019年9月11日
How to Fine-Tune BERT for Text Classification?
How to Fine-Tune BERT for Text Classification?
Arxiv
13+阅读 · 2019年5月14日
You May Not Need Attention
Arxiv
4+阅读 · 2018年10月31日
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
Arxiv
15+阅读 · 2018年10月11日
Knowledge-enriched Two-layered Attention Network for Sentiment Analysis
Arxiv
4+阅读 · 2018年6月16日
Knowledge-based Recurrent Attentive Neural Network for Small Object Detection
Arxiv
3+阅读 · 2018年5月2日
微信扫码咨询专知VIP会员
Top