会员服务
BERT · 迁移学习 · 机器学习 · 预训练语言模型 · 人工智能 ·
2019 年 11 月 22 日
【论文推荐】基于BERT修剪的问答模型（Pruning a BERT-based Question Answering Model）
专知会员服务
专知会员服务
专知，提供专业可信的知识分发服务，让认知协作更快更好！

论文题目： Pruning a BERT-based Question Answering Model

论文摘要： 我们研究了通过从基本的BERT模型中剪除参数来压缩基于BERT的问答系统。我们从为2.0小队训练的模型开始，引入允许变压器的选定部分被单独消除的门。具体来说，我们研究：（1）减少每个变压器中的注意头数目，（2）减少每个变压器的前向子层的中间宽度，以及（3）减少嵌入尺寸。我们比较了几种确定这些阈值的方法。我们发现剪枝注意头和前馈层的结合几乎使解码速度加倍，只有1.5f点的精度损失。

作者介绍： Jeffrey McCarley，IBM T.J.沃森研究中心

成为VIP会员查看完整内容
https://openreview.net/forum?id=SJlPOCEKvH
30

相关内容

BERT全称Bidirectional Encoder Representations from Transformers，是预训练语言表示的方法，可以在大型文本语料库（如维基百科）上训练通用的“语言理解”模型，然后将该模型用于下游NLP任务，比如机器翻译、问答。
基于Transformer嵌入模型的个性化产品搜索，A Transformer-based Embedding Model for Personalized Product Search
基于Transformer嵌入模型的个性化产品搜索，A Transformer-based Embedding Model for Personalized Product Search
专知会员服务
31+阅读 · 2020年5月20日
【ACL2020】DeeBERT:动态加速BERT推理，DeeBERT: Dynamic Early Exiting for Accelerating BERT Inference
【ACL2020】DeeBERT:动态加速BERT推理，DeeBERT: Dynamic Early Exiting for Accelerating BERT Inference
专知会员服务
21+阅读 · 2020年4月30日
【SIGIR2020-斯坦福大学】一种新的又好又快的BERT类信息检索模型-ColBERT
【SIGIR2020-斯坦福大学】一种新的又好又快的BERT类信息检索模型-ColBERT
专知会员服务
44+阅读 · 2020年4月28日
【华为-诺亚实验室】动态BERT, Dynamic BERT with Adaptive Width and Depth
【华为-诺亚实验室】动态BERT, Dynamic BERT with Adaptive Width and Depth
专知会员服务
24+阅读 · 2020年4月13日
【ACL2020-CMU-Google】MobileBERT:用于资源受限设备的任务无关“瘦版”BERT
【ACL2020-CMU-Google】MobileBERT:用于资源受限设备的任务无关“瘦版”BERT
专知会员服务
13+阅读 · 2020年4月9日
Facebook AI何恺明等最新研究MoCo(动量对比学习)第二版，超越Hinton的SimCLR，刷新ImageNet准确率
Facebook AI何恺明等最新研究MoCo(动量对比学习)第二版，超越Hinton的SimCLR，刷新ImageNet准确率
专知会员服务
36+阅读 · 2020年3月11日
【ICLR2020 预训练的百科全书】弱监督的知识-预训练的语言模型（PRETRAINED ENCYCLOPEDIA: WEAKLY SUPERVISED KNOWLEDGE-PRETRAINED LANGUAGE MODEL）
【ICLR2020 预训练的百科全书】弱监督的知识-预训练的语言模型（PRETRAINED ENCYCLOPEDIA: WEAKLY SUPERVISED KNOWLEDGE-PRETRAINED LANGUAGE MODEL）
专知会员服务
25+阅读 · 2019年12月26日
【机器学习论文推荐】EfficientNet:卷积神经网络的再思考模型缩放（EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks）
【机器学习论文推荐】EfficientNet:卷积神经网络的再思考模型缩放（EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks）
专知会员服务
17+阅读 · 2019年12月24日
【Google论文强烈推荐】ALBERT:基于精简BERT的自我监督学习的语言表示，ALBERT: A Lite BERT for Self-Supervised Learning of Language Representations
【Google论文强烈推荐】ALBERT:基于精简BERT的自我监督学习的语言表示，ALBERT: A Lite BERT for Self-Supervised Learning of Language Representations
专知会员服务
24+阅读 · 2019年12月21日
【NLP| 推荐文章】知识图谱问答系统的神经网络方法介绍（Introduction to Neural Network based Approaches for Question Answering over Knowledge Graphs）
专知会员服务
59+阅读 · 2019年11月24日
基于知识蒸馏的BERT模型压缩
基于知识蒸馏的BERT模型压缩
大数据文摘
18+阅读 · 2019年10月14日
[Google]BERT压缩到7MB！最新基于最优子词和共享投影的极限语言压缩模型
[Google]BERT压缩到7MB！最新基于最优子词和共享投影的极限语言压缩模型
专知
31+阅读 · 2019年10月6日
最新必读【预训练语言模型(BERT/XLNet等)】论文，Google/微软/华为ICLR2020提交论文
最新必读【预训练语言模型(BERT/XLNet等)】论文，Google/微软/华为ICLR2020提交论文
专知
36+阅读 · 2019年9月29日
【EMNLP2019】最新5篇论文推荐，BERT，对话系统，知识图谱，注意力机制等
【EMNLP2019】最新5篇论文推荐，BERT，对话系统，知识图谱，注意力机制等
专知
32+阅读 · 2019年8月17日
谷歌提出新型卷积网络EfficientNet：推理速度提升5.1倍，参数减少88%（附论文&代码）
谷歌提出新型卷积网络EfficientNet：推理速度提升5.1倍，参数减少88%（附论文&代码）
THU数据派
6+阅读 · 2019年6月9日
ACL 2019 | 基于知识增强的语言表示模型，多项NLP任务表现超越BERT
ACL 2019 | 基于知识增强的语言表示模型，多项NLP任务表现超越BERT
PaperWeekly
8+阅读 · 2019年6月3日
推理速度提升5.1倍，参数减少88%：谷歌提出新型卷积网络EfficientNet（附代码）
推理速度提升5.1倍，参数减少88%：谷歌提出新型卷积网络EfficientNet（附代码）
机器之心
6+阅读 · 2019年5月31日
中文版-BERT-预训练的深度双向Transformer语言模型-详细介绍
中文版-BERT-预训练的深度双向Transformer语言模型-详细介绍
深度学习与NLP
32+阅读 · 2019年3月30日
BERT霸榜问答任务，谷歌新基准模型缩小AI与人类差距50%
BERT霸榜问答任务，谷歌新基准模型缩小AI与人类差距50%
未来产业促进会
4+阅读 · 2019年1月31日
模型大小缩小75%，TensorFlow推出模型优化工具包
模型大小缩小75%，TensorFlow推出模型优化工具包
论智
8+阅读 · 2018年9月19日
Span-based Joint Entity and Relation Extraction with Transformer Pre-training
Arxiv
7+阅读 · 2019年9月17日
Q-BERT: Hessian Based Ultra Low Precision Quantization of BERT
Arxiv
3+阅读 · 2019年9月12日
EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks
Arxiv
3+阅读 · 2019年5月28日
A BERT Baseline for the Natural Questions
Arxiv
8+阅读 · 2019年3月21日
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
Arxiv
15+阅读 · 2018年10月11日
QuAC : Question Answering in Context
QuAC : Question Answering in Context
Arxiv
4+阅读 · 2018年8月21日
Graph-based Filtering of Out-of-Vocabulary Words for Encoder-Decoder Models
Arxiv
4+阅读 · 2018年5月28日
Differential Attention for Visual Question Answering
Arxiv
5+阅读 · 2018年4月3日
Dual Recurrent Attention Units for Visual Question Answering
Arxiv
7+阅读 · 2018年2月1日
Towards Understanding and Answering Multi-Sentence Recommendation Questions on Tourism
Arxiv
15+阅读 · 2018年1月5日
VIP会员
相关主题
BERT
迁移学习
机器学习
预训练语言模型
人工智能
最新内容
从原型到实战：扩展美陆军下一代指挥控制能力（试验进展）
从原型到实战：扩展美陆军下一代指挥控制能力（试验进展）
专知会员服务
1+阅读 · 26分钟前
技术、多域威慑与海上战争（报告）
技术、多域威慑与海上战争（报告）
专知会员服务
1+阅读 · 32分钟前
随机网络效用最大化在战略排队系统中的博弈论方法
随机网络效用最大化在战略排队系统中的博弈论方法
专知会员服务
1+阅读 · 40分钟前
“在云端防御”：提升北约数据韧性（报告）
“在云端防御”：提升北约数据韧性（报告）
专知会员服务
1+阅读 · 42分钟前
从炒作到现实：人工智能在军事应用中的实战经验与建议（综述）
从炒作到现实：人工智能在军事应用中的实战经验与建议（综述）
专知会员服务
1+阅读 · 47分钟前
2026年伊朗战争对美国通胀的影响：情景分析（报告）
2026年伊朗战争对美国通胀的影响：情景分析（报告）
专知会员服务
0+阅读 · 49分钟前
人工智能及其在海军行动中的整合（综述）
人工智能及其在海军行动中的整合（综述）
专知会员服务
0+阅读 · 今天14:07
美以伊冲突：无人机主导的第三次海湾战争反防空作战
美以伊冲突：无人机主导的第三次海湾战争反防空作战
专知会员服务
0+阅读 · 今天13:56
多模态XR-AI训练系统提升联合作战中的沟通技能（中文万字长文）
多模态XR-AI训练系统提升联合作战中的沟通技能（中文万字长文）
专知会员服务
2+阅读 · 今天13:40
美军MAVEN项目全面解析：算法战架构
美军MAVEN项目全面解析：算法战架构
专知会员服务
16+阅读 · 今天8:36
从俄乌战场看“马赛克战”（万字长文）
从俄乌战场看“马赛克战”（万字长文）
专知会员服务
10+阅读 · 今天8:19
人工智能与机器人自主系统等新兴技术革命将如何影响地面作战的指挥控制？
人工智能与机器人自主系统等新兴技术革命将如何影响地面作战的指挥控制？
专知会员服务
10+阅读 · 4月12日
弹性指挥控制：北约、伊朗与俄罗斯指挥控制架构的比较分析
弹性指挥控制：北约、伊朗与俄罗斯指挥控制架构的比较分析
专知会员服务
9+阅读 · 4月12日
最新“指挥控制”领域出版物合集（16份）
最新“指挥控制”领域出版物合集（16份）
专知会员服务
16+阅读 · 4月12日
面向军事作战需求开发的人工智能（RAIMOND）
面向军事作战需求开发的人工智能（RAIMOND）
专知会员服务
22+阅读 · 4月12日
相关VIP内容
基于Transformer嵌入模型的个性化产品搜索，A Transformer-based Embedding Model for Personalized Product Search
基于Transformer嵌入模型的个性化产品搜索，A Transformer-based Embedding Model for Personalized Product Search
专知会员服务
31+阅读 · 2020年5月20日
【ACL2020】DeeBERT:动态加速BERT推理，DeeBERT: Dynamic Early Exiting for Accelerating BERT Inference
【ACL2020】DeeBERT:动态加速BERT推理，DeeBERT: Dynamic Early Exiting for Accelerating BERT Inference
专知会员服务
21+阅读 · 2020年4月30日
【SIGIR2020-斯坦福大学】一种新的又好又快的BERT类信息检索模型-ColBERT
【SIGIR2020-斯坦福大学】一种新的又好又快的BERT类信息检索模型-ColBERT
专知会员服务
44+阅读 · 2020年4月28日
【华为-诺亚实验室】动态BERT, Dynamic BERT with Adaptive Width and Depth
【华为-诺亚实验室】动态BERT, Dynamic BERT with Adaptive Width and Depth
专知会员服务
24+阅读 · 2020年4月13日
【ACL2020-CMU-Google】MobileBERT:用于资源受限设备的任务无关“瘦版”BERT
【ACL2020-CMU-Google】MobileBERT:用于资源受限设备的任务无关“瘦版”BERT
专知会员服务
13+阅读 · 2020年4月9日
Facebook AI何恺明等最新研究MoCo(动量对比学习)第二版，超越Hinton的SimCLR，刷新ImageNet准确率
Facebook AI何恺明等最新研究MoCo(动量对比学习)第二版，超越Hinton的SimCLR，刷新ImageNet准确率
专知会员服务
36+阅读 · 2020年3月11日
【ICLR2020 预训练的百科全书】弱监督的知识-预训练的语言模型（PRETRAINED ENCYCLOPEDIA: WEAKLY SUPERVISED KNOWLEDGE-PRETRAINED LANGUAGE MODEL）
【ICLR2020 预训练的百科全书】弱监督的知识-预训练的语言模型（PRETRAINED ENCYCLOPEDIA: WEAKLY SUPERVISED KNOWLEDGE-PRETRAINED LANGUAGE MODEL）
专知会员服务
25+阅读 · 2019年12月26日
【机器学习论文推荐】EfficientNet:卷积神经网络的再思考模型缩放（EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks）
【机器学习论文推荐】EfficientNet:卷积神经网络的再思考模型缩放（EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks）
专知会员服务
17+阅读 · 2019年12月24日
【Google论文强烈推荐】ALBERT:基于精简BERT的自我监督学习的语言表示，ALBERT: A Lite BERT for Self-Supervised Learning of Language Representations
【Google论文强烈推荐】ALBERT:基于精简BERT的自我监督学习的语言表示，ALBERT: A Lite BERT for Self-Supervised Learning of Language Representations
专知会员服务
24+阅读 · 2019年12月21日
【NLP| 推荐文章】知识图谱问答系统的神经网络方法介绍（Introduction to Neural Network based Approaches for Question Answering over Knowledge Graphs）
专知会员服务
59+阅读 · 2019年11月24日
热门VIP内容
相关资讯
基于知识蒸馏的BERT模型压缩
基于知识蒸馏的BERT模型压缩
大数据文摘
18+阅读 · 2019年10月14日
[Google]BERT压缩到7MB！最新基于最优子词和共享投影的极限语言压缩模型
[Google]BERT压缩到7MB！最新基于最优子词和共享投影的极限语言压缩模型
专知
31+阅读 · 2019年10月6日
最新必读【预训练语言模型(BERT/XLNet等)】论文，Google/微软/华为ICLR2020提交论文
最新必读【预训练语言模型(BERT/XLNet等)】论文，Google/微软/华为ICLR2020提交论文
专知
36+阅读 · 2019年9月29日
【EMNLP2019】最新5篇论文推荐，BERT，对话系统，知识图谱，注意力机制等
【EMNLP2019】最新5篇论文推荐，BERT，对话系统，知识图谱，注意力机制等
专知
32+阅读 · 2019年8月17日
谷歌提出新型卷积网络EfficientNet：推理速度提升5.1倍，参数减少88%（附论文&代码）
谷歌提出新型卷积网络EfficientNet：推理速度提升5.1倍，参数减少88%（附论文&代码）
THU数据派
6+阅读 · 2019年6月9日
ACL 2019 | 基于知识增强的语言表示模型，多项NLP任务表现超越BERT
ACL 2019 | 基于知识增强的语言表示模型，多项NLP任务表现超越BERT
PaperWeekly
8+阅读 · 2019年6月3日
推理速度提升5.1倍，参数减少88%：谷歌提出新型卷积网络EfficientNet（附代码）
推理速度提升5.1倍，参数减少88%：谷歌提出新型卷积网络EfficientNet（附代码）
机器之心
6+阅读 · 2019年5月31日
中文版-BERT-预训练的深度双向Transformer语言模型-详细介绍
中文版-BERT-预训练的深度双向Transformer语言模型-详细介绍
深度学习与NLP
32+阅读 · 2019年3月30日
BERT霸榜问答任务，谷歌新基准模型缩小AI与人类差距50%
BERT霸榜问答任务，谷歌新基准模型缩小AI与人类差距50%
未来产业促进会
4+阅读 · 2019年1月31日
模型大小缩小75%，TensorFlow推出模型优化工具包
模型大小缩小75%，TensorFlow推出模型优化工具包
论智
8+阅读 · 2018年9月19日
相关论文
Span-based Joint Entity and Relation Extraction with Transformer Pre-training
Arxiv
7+阅读 · 2019年9月17日
Q-BERT: Hessian Based Ultra Low Precision Quantization of BERT
Arxiv
3+阅读 · 2019年9月12日
EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks
Arxiv
3+阅读 · 2019年5月28日
A BERT Baseline for the Natural Questions
Arxiv
8+阅读 · 2019年3月21日
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
Arxiv
15+阅读 · 2018年10月11日
QuAC : Question Answering in Context
QuAC : Question Answering in Context
Arxiv
4+阅读 · 2018年8月21日
Graph-based Filtering of Out-of-Vocabulary Words for Encoder-Decoder Models
Arxiv
4+阅读 · 2018年5月28日
Differential Attention for Visual Question Answering
Arxiv
5+阅读 · 2018年4月3日
Dual Recurrent Attention Units for Visual Question Answering
Arxiv
7+阅读 · 2018年2月1日
Towards Understanding and Answering Multi-Sentence Recommendation Questions on Tourism
Arxiv
15+阅读 · 2018年1月5日
微信扫码咨询专知VIP会员
Top