会员服务

KDD 2021论文直播 | 用自动架构搜索实现任务无关且动态大小的BERT压缩

2021 年 8 月 31 日 微软研究院AI头条





登录查看更多
0

相关内容

【AAAI 2022】XLM-K：通过多语言知识库提高跨语言预训练模型
【AAAI 2022】XLM-K：通过多语言知识库提高跨语言预训练模型
专知会员服务
27+阅读 · 2022年1月13日
【NeurIPS 2021】使用动态图进行3D目标检测
专知会员服务
15+阅读 · 2021年10月15日
【KDD2021】用NAS实现任务无关且可动态调整尺寸的BERT压缩
【KDD2021】用NAS实现任务无关且可动态调整尺寸的BERT压缩
专知会员服务
17+阅读 · 2021年9月2日
【ICCV 2021 】Vision Transformer中的相对位置编码
专知会员服务
30+阅读 · 2021年7月30日
【KDD2021】基于神经结构搜索的任务无关与自适应BERT压缩
专知会员服务
9+阅读 · 2021年6月5日
【NeurIPS 2020】视觉和语言表示学习的大规模对抗性训练
【NeurIPS 2020】视觉和语言表示学习的大规模对抗性训练
专知会员服务
15+阅读 · 2020年10月27日
【NeurIPS 2020】融入BERT到并行序列模型
【NeurIPS 2020】融入BERT到并行序列模型
专知会员服务
26+阅读 · 2020年10月15日
【KDD2020】 利用多信号输入推断知识图谱中节点的重要性
专知会员服务
40+阅读 · 2020年9月10日
【Hinton新论文】SimCLRv2来了！提出蒸馏新思路，可迁移至小模型，性能精度超越有监督
【Hinton新论文】SimCLRv2来了！提出蒸馏新思路，可迁移至小模型，性能精度超越有监督
专知会员服务
41+阅读 · 2020年7月21日
最新BERT相关论文清单，BERT-related Papers
最新BERT相关论文清单，BERT-related Papers
专知会员服务
53+阅读 · 2019年9月29日
AAAI 2022 | 北大 & 阿里达摩院：基于对比学习的预训练语言模型剪枝压缩
AAAI 2022 | 北大 & 阿里达摩院：基于对比学习的预训练语言模型剪枝压缩
PaperWeekly
0+阅读 · 2022年2月14日
直播预告 | AAAI 2022论文解读：基于对比学习的预训练语言模型剪枝压缩
直播预告 | AAAI 2022论文解读：基于对比学习的预训练语言模型剪枝压缩
PaperWeekly
0+阅读 · 2022年1月19日
直播 | AAAI 2022论文解读：三⻆分解一致性约束的端到端语音翻译
直播 | AAAI 2022论文解读：三⻆分解一致性约束的端到端语音翻译
PaperWeekly
0+阅读 · 2022年1月10日
浅谈BERT/Transformer模型的压缩与优化加速
浅谈BERT/Transformer模型的压缩与优化加速
PaperWeekly
1+阅读 · 2021年12月31日
KDD 2021 | 用NAS实现任务无关且可动态调整尺寸的BERT压缩
KDD 2021 | 用NAS实现任务无关且可动态调整尺寸的BERT压缩
微软研究院AI头条
0+阅读 · 2021年8月11日
[Google]BERT压缩到7MB！最新基于最优子词和共享投影的极限语言压缩模型
[Google]BERT压缩到7MB！最新基于最优子词和共享投影的极限语言压缩模型
专知
31+阅读 · 2019年10月6日
最新必读【预训练语言模型(BERT/XLNet等)】论文，Google/微软/华为ICLR2020提交论文
最新必读【预训练语言模型(BERT/XLNet等)】论文，Google/微软/华为ICLR2020提交论文
专知
36+阅读 · 2019年9月29日
近期必读的12篇KDD 2019【图神经网络（GNN）】相关论文
近期必读的12篇KDD 2019【图神经网络（GNN）】相关论文
专知
101+阅读 · 2019年8月6日
近期必读的10篇ACL 2019【图神经网络（GNN）+NLP】相关论文和代码
近期必读的10篇ACL 2019【图神经网络（GNN）+NLP】相关论文和代码
专知
56+阅读 · 2019年6月18日
CVPR 2019 Oral 论文解读 | 百度提出关于网络压缩和加速的新剪枝算法
CVPR 2019 Oral 论文解读 | 百度提出关于网络压缩和加速的新剪枝算法
AI科技评论
11+阅读 · 2019年5月28日
粒子物理离线数据处理资源分配与作业管理双层调度算法研究
国家自然科学基金
0+阅读 · 2014年12月31日
基于冗余消除和邻居"辐射"的动态SPM管理方法研究
国家自然科学基金
0+阅读 · 2013年12月31日
混合云中的数据密集型工作流调度策略研究
国家自然科学基金
1+阅读 · 2013年12月31日
并行系统上大规模图中最短路径实时计算研究
国家自然科学基金
1+阅读 · 2013年12月31日
异构GPU集群混合粒度任务协同调度与动态均衡机制研究
国家自然科学基金
2+阅读 · 2012年12月31日
可压缩湍流边界层平均场的解析刻画
国家自然科学基金
0+阅读 · 2012年12月31日
CUDA、OpenMP和MPI混合加速的隐式粒子模拟算法与框架研究
国家自然科学基金
1+阅读 · 2012年12月31日
扩散问题的一类显式并行算法设计与实现
国家自然科学基金
0+阅读 · 2011年12月31日
实时多模粒子PHD滤波器算法与硬件实现研究
国家自然科学基金
0+阅读 · 2011年12月31日
基于非刚性变换不变性的动态三维几何模型分解技术研究
国家自然科学基金
1+阅读 · 2009年12月31日
Who Is Missing? Characterizing the Participation of Different Demographic Groups in a Korean Nationwide Daily Conversation Corpus
Arxiv
2+阅读 · 2022年4月20日
Pre-Training on Dynamic Graph Neural Networks
Pre-Training on Dynamic Graph Neural Networks
Arxiv
1+阅读 · 2022年4月18日
Retrieve-then-extract Based Knowledge Graph Querying Using Graph Neural Networks
Arxiv
1+阅读 · 2022年4月15日
Knowledge Embedding Based Graph Convolutional Network
Knowledge Embedding Based Graph Convolutional Network
Arxiv
24+阅读 · 2021年4月23日
已删除
已删除
Arxiv
33+阅读 · 2020年3月23日
Domain Representation for Knowledge Graph Embedding
Domain Representation for Knowledge Graph Embedding
Arxiv
14+阅读 · 2019年9月11日
Knowledge-aware Graph Neural Networks with Label Smoothness Regularization for Recommendation
Arxiv
11+阅读 · 2019年6月13日
Dynamic Graph Neural Networks
Arxiv
24+阅读 · 2018年10月24日
Self-Attention with Relative Position Representations
Arxiv
14+阅读 · 2018年3月6日
Deep Semantic Role Labeling with Self-Attention
Arxiv
13+阅读 · 2017年12月5日
VIP会员
相关主题
自动架构搜索
KDD 2021
KDD
BERT
搜索
论文
最新内容
俄罗斯如何拦截乌克兰无人机与巡航导弹
俄罗斯如何拦截乌克兰无人机与巡航导弹
专知会员服务
9+阅读 · 10月15日
《封锁、捕获与打击：“史诗怒火”行动中经济战法的复兴》
《封锁、捕获与打击：“史诗怒火”行动中经济战法的复兴》
专知会员服务
10+阅读 · 10月15日
《武器-目标分配问题：精确与近似求解算法》
《武器-目标分配问题：精确与近似求解算法》
专知会员服务
14+阅读 · 10月15日
《以创新锻造杀伤力：第116步兵旅战斗队向机动旅战斗队转型中的电磁战与多域集成》
《以创新锻造杀伤力：第116步兵旅战斗队向机动旅战斗队转型中的电磁战与多域集成》
专知会员服务
9+阅读 · 10月15日
现代电磁战：集成式系统簇时代如何实现频谱优势
现代电磁战：集成式系统簇时代如何实现频谱优势
专知会员服务
9+阅读 · 10月14日
综述｜大模型评测是否过量？基准压缩的方法、成本与可靠性
综述｜大模型评测是否过量？基准压缩的方法、成本与可靠性
专知会员服务
7+阅读 · 10月14日
综述｜谁来改进机器人？迈向物理递归自我改进
综述｜谁来改进机器人？迈向物理递归自我改进
专知会员服务
11+阅读 · 10月14日
《迈向防空协同中段制导：一种连续武器-目标分配视角》
《迈向防空协同中段制导：一种连续武器-目标分配视角》
专知会员服务
9+阅读 · 10月14日
《兵棋推演真正教给我们的是什么：威胁识别，而非预测》
《兵棋推演真正教给我们的是什么：威胁识别，而非预测》
专知会员服务
12+阅读 · 10月14日
《电磁对抗环境下战场指挥与控制系统的弹性：基于依赖型隐马尔可夫模型的电子战对通信网络影响建模》
《电磁对抗环境下战场指挥与控制系统的弹性：基于依赖型隐马尔可夫模型的电子战对通信网络影响建模》
专知会员服务
8+阅读 · 10月14日
软件定义无人机蜂群给防空带来全新压力
软件定义无人机蜂群给防空带来全新压力
专知会员服务
10+阅读 · 10月13日
《半自主无人地面战车的互操作性》66页
《半自主无人地面战车的互操作性》66页
专知会员服务
14+阅读 · 10月13日
《鲁棒武器-目标分配方法在预测拦截点不确定条件下的应用》
《鲁棒武器-目标分配方法在预测拦截点不确定条件下的应用》
专知会员服务
10+阅读 · 10月13日
《攻击型无人机操作员能力向模拟训练的映射框架研究》130页
《攻击型无人机操作员能力向模拟训练的映射框架研究》130页
专知会员服务
12+阅读 · 10月13日
《加速作战司令部能力部署：指定作战司令官作为联合作战问题的执行代理》
《加速作战司令部能力部署：指定作战司令官作为联合作战问题的执行代理》
专知会员服务
8+阅读 · 10月13日
相关VIP内容
【AAAI 2022】XLM-K：通过多语言知识库提高跨语言预训练模型
【AAAI 2022】XLM-K：通过多语言知识库提高跨语言预训练模型
专知会员服务
27+阅读 · 2022年1月13日
【NeurIPS 2021】使用动态图进行3D目标检测
专知会员服务
15+阅读 · 2021年10月15日
【KDD2021】用NAS实现任务无关且可动态调整尺寸的BERT压缩
【KDD2021】用NAS实现任务无关且可动态调整尺寸的BERT压缩
专知会员服务
17+阅读 · 2021年9月2日
【ICCV 2021 】Vision Transformer中的相对位置编码
专知会员服务
30+阅读 · 2021年7月30日
【KDD2021】基于神经结构搜索的任务无关与自适应BERT压缩
专知会员服务
9+阅读 · 2021年6月5日
【NeurIPS 2020】视觉和语言表示学习的大规模对抗性训练
【NeurIPS 2020】视觉和语言表示学习的大规模对抗性训练
专知会员服务
15+阅读 · 2020年10月27日
【NeurIPS 2020】融入BERT到并行序列模型
【NeurIPS 2020】融入BERT到并行序列模型
专知会员服务
26+阅读 · 2020年10月15日
【KDD2020】 利用多信号输入推断知识图谱中节点的重要性
专知会员服务
40+阅读 · 2020年9月10日
【Hinton新论文】SimCLRv2来了！提出蒸馏新思路，可迁移至小模型，性能精度超越有监督
【Hinton新论文】SimCLRv2来了！提出蒸馏新思路，可迁移至小模型，性能精度超越有监督
专知会员服务
41+阅读 · 2020年7月21日
最新BERT相关论文清单，BERT-related Papers
最新BERT相关论文清单，BERT-related Papers
专知会员服务
53+阅读 · 2019年9月29日
热门VIP内容
相关资讯
AAAI 2022 | 北大 & 阿里达摩院：基于对比学习的预训练语言模型剪枝压缩
AAAI 2022 | 北大 & 阿里达摩院：基于对比学习的预训练语言模型剪枝压缩
PaperWeekly
0+阅读 · 2022年2月14日
直播预告 | AAAI 2022论文解读：基于对比学习的预训练语言模型剪枝压缩
直播预告 | AAAI 2022论文解读：基于对比学习的预训练语言模型剪枝压缩
PaperWeekly
0+阅读 · 2022年1月19日
直播 | AAAI 2022论文解读：三⻆分解一致性约束的端到端语音翻译
直播 | AAAI 2022论文解读：三⻆分解一致性约束的端到端语音翻译
PaperWeekly
0+阅读 · 2022年1月10日
浅谈BERT/Transformer模型的压缩与优化加速
浅谈BERT/Transformer模型的压缩与优化加速
PaperWeekly
1+阅读 · 2021年12月31日
KDD 2021 | 用NAS实现任务无关且可动态调整尺寸的BERT压缩
KDD 2021 | 用NAS实现任务无关且可动态调整尺寸的BERT压缩
微软研究院AI头条
0+阅读 · 2021年8月11日
[Google]BERT压缩到7MB！最新基于最优子词和共享投影的极限语言压缩模型
[Google]BERT压缩到7MB！最新基于最优子词和共享投影的极限语言压缩模型
专知
31+阅读 · 2019年10月6日
最新必读【预训练语言模型(BERT/XLNet等)】论文，Google/微软/华为ICLR2020提交论文
最新必读【预训练语言模型(BERT/XLNet等)】论文，Google/微软/华为ICLR2020提交论文
专知
36+阅读 · 2019年9月29日
近期必读的12篇KDD 2019【图神经网络（GNN）】相关论文
近期必读的12篇KDD 2019【图神经网络（GNN）】相关论文
专知
101+阅读 · 2019年8月6日
近期必读的10篇ACL 2019【图神经网络（GNN）+NLP】相关论文和代码
近期必读的10篇ACL 2019【图神经网络（GNN）+NLP】相关论文和代码
专知
56+阅读 · 2019年6月18日
CVPR 2019 Oral 论文解读 | 百度提出关于网络压缩和加速的新剪枝算法
CVPR 2019 Oral 论文解读 | 百度提出关于网络压缩和加速的新剪枝算法
AI科技评论
11+阅读 · 2019年5月28日
相关基金
粒子物理离线数据处理资源分配与作业管理双层调度算法研究
国家自然科学基金
0+阅读 · 2014年12月31日
基于冗余消除和邻居"辐射"的动态SPM管理方法研究
国家自然科学基金
0+阅读 · 2013年12月31日
混合云中的数据密集型工作流调度策略研究
国家自然科学基金
1+阅读 · 2013年12月31日
并行系统上大规模图中最短路径实时计算研究
国家自然科学基金
1+阅读 · 2013年12月31日
异构GPU集群混合粒度任务协同调度与动态均衡机制研究
国家自然科学基金
2+阅读 · 2012年12月31日
可压缩湍流边界层平均场的解析刻画
国家自然科学基金
0+阅读 · 2012年12月31日
CUDA、OpenMP和MPI混合加速的隐式粒子模拟算法与框架研究
国家自然科学基金
1+阅读 · 2012年12月31日
扩散问题的一类显式并行算法设计与实现
国家自然科学基金
0+阅读 · 2011年12月31日
实时多模粒子PHD滤波器算法与硬件实现研究
国家自然科学基金
0+阅读 · 2011年12月31日
基于非刚性变换不变性的动态三维几何模型分解技术研究
国家自然科学基金
1+阅读 · 2009年12月31日
相关论文
Who Is Missing? Characterizing the Participation of Different Demographic Groups in a Korean Nationwide Daily Conversation Corpus
Arxiv
2+阅读 · 2022年4月20日
Pre-Training on Dynamic Graph Neural Networks
Pre-Training on Dynamic Graph Neural Networks
Arxiv
1+阅读 · 2022年4月18日
Retrieve-then-extract Based Knowledge Graph Querying Using Graph Neural Networks
Arxiv
1+阅读 · 2022年4月15日
Knowledge Embedding Based Graph Convolutional Network
Knowledge Embedding Based Graph Convolutional Network
Arxiv
24+阅读 · 2021年4月23日
已删除
已删除
Arxiv
33+阅读 · 2020年3月23日
Domain Representation for Knowledge Graph Embedding
Domain Representation for Knowledge Graph Embedding
Arxiv
14+阅读 · 2019年9月11日
Knowledge-aware Graph Neural Networks with Label Smoothness Regularization for Recommendation
Arxiv
11+阅读 · 2019年6月13日
Dynamic Graph Neural Networks
Arxiv
24+阅读 · 2018年10月24日
Self-Attention with Relative Position Representations
Arxiv
14+阅读 · 2018年3月6日
Deep Semantic Role Labeling with Self-Attention
Arxiv
13+阅读 · 2017年12月5日
大家都在搜
  1. maven
  2. palantir
  3. 目标分配
  4. 数字工程
  5. terraform
  6. 雷鸟科技
  7. 对抗特征转移
  8. 文本挖掘从小白到精通
  9. 生成对抗网络GANs学习路线
  10. 6 个打造你自己的 VPN 的开源工具
Top
微信扫码咨询专知VIP会员
Top