会员服务

KDD 2021论文直播 | 用自动架构搜索实现任务无关且动态大小的BERT压缩

2021 年 8 月 31 日 微软研究院AI头条





登录查看更多
0

相关内容

【AAAI 2022】XLM-K：通过多语言知识库提高跨语言预训练模型
【AAAI 2022】XLM-K：通过多语言知识库提高跨语言预训练模型
专知会员服务
27+阅读 · 2022年1月13日
【NeurIPS 2021】使用动态图进行3D目标检测
专知会员服务
15+阅读 · 2021年10月15日
【KDD2021】用NAS实现任务无关且可动态调整尺寸的BERT压缩
【KDD2021】用NAS实现任务无关且可动态调整尺寸的BERT压缩
专知会员服务
17+阅读 · 2021年9月2日
【ICCV 2021 】Vision Transformer中的相对位置编码
专知会员服务
30+阅读 · 2021年7月30日
【KDD2021】基于神经结构搜索的任务无关与自适应BERT压缩
专知会员服务
9+阅读 · 2021年6月5日
【NeurIPS 2020】视觉和语言表示学习的大规模对抗性训练
【NeurIPS 2020】视觉和语言表示学习的大规模对抗性训练
专知会员服务
15+阅读 · 2020年10月27日
【NeurIPS 2020】融入BERT到并行序列模型
【NeurIPS 2020】融入BERT到并行序列模型
专知会员服务
26+阅读 · 2020年10月15日
【KDD2020】 利用多信号输入推断知识图谱中节点的重要性
专知会员服务
40+阅读 · 2020年9月10日
【Hinton新论文】SimCLRv2来了！提出蒸馏新思路，可迁移至小模型，性能精度超越有监督
【Hinton新论文】SimCLRv2来了！提出蒸馏新思路，可迁移至小模型，性能精度超越有监督
专知会员服务
41+阅读 · 2020年7月21日
最新BERT相关论文清单，BERT-related Papers
最新BERT相关论文清单，BERT-related Papers
专知会员服务
53+阅读 · 2019年9月29日
AAAI 2022 | 北大 & 阿里达摩院：基于对比学习的预训练语言模型剪枝压缩
AAAI 2022 | 北大 & 阿里达摩院：基于对比学习的预训练语言模型剪枝压缩
PaperWeekly
0+阅读 · 2022年2月14日
直播预告 | AAAI 2022论文解读：基于对比学习的预训练语言模型剪枝压缩
直播预告 | AAAI 2022论文解读：基于对比学习的预训练语言模型剪枝压缩
PaperWeekly
0+阅读 · 2022年1月19日
直播 | AAAI 2022论文解读：三⻆分解一致性约束的端到端语音翻译
直播 | AAAI 2022论文解读：三⻆分解一致性约束的端到端语音翻译
PaperWeekly
0+阅读 · 2022年1月10日
浅谈BERT/Transformer模型的压缩与优化加速
浅谈BERT/Transformer模型的压缩与优化加速
PaperWeekly
1+阅读 · 2021年12月31日
KDD 2021 | 用NAS实现任务无关且可动态调整尺寸的BERT压缩
KDD 2021 | 用NAS实现任务无关且可动态调整尺寸的BERT压缩
微软研究院AI头条
0+阅读 · 2021年8月11日
[Google]BERT压缩到7MB！最新基于最优子词和共享投影的极限语言压缩模型
[Google]BERT压缩到7MB！最新基于最优子词和共享投影的极限语言压缩模型
专知
31+阅读 · 2019年10月6日
最新必读【预训练语言模型(BERT/XLNet等)】论文，Google/微软/华为ICLR2020提交论文
最新必读【预训练语言模型(BERT/XLNet等)】论文，Google/微软/华为ICLR2020提交论文
专知
36+阅读 · 2019年9月29日
近期必读的12篇KDD 2019【图神经网络（GNN）】相关论文
近期必读的12篇KDD 2019【图神经网络（GNN）】相关论文
专知
101+阅读 · 2019年8月6日
近期必读的10篇ACL 2019【图神经网络（GNN）+NLP】相关论文和代码
近期必读的10篇ACL 2019【图神经网络（GNN）+NLP】相关论文和代码
专知
56+阅读 · 2019年6月18日
CVPR 2019 Oral 论文解读 | 百度提出关于网络压缩和加速的新剪枝算法
CVPR 2019 Oral 论文解读 | 百度提出关于网络压缩和加速的新剪枝算法
AI科技评论
11+阅读 · 2019年5月28日
粒子物理离线数据处理资源分配与作业管理双层调度算法研究
国家自然科学基金
0+阅读 · 2014年12月31日
基于冗余消除和邻居"辐射"的动态SPM管理方法研究
国家自然科学基金
0+阅读 · 2013年12月31日
混合云中的数据密集型工作流调度策略研究
国家自然科学基金
1+阅读 · 2013年12月31日
并行系统上大规模图中最短路径实时计算研究
国家自然科学基金
1+阅读 · 2013年12月31日
异构GPU集群混合粒度任务协同调度与动态均衡机制研究
国家自然科学基金
2+阅读 · 2012年12月31日
可压缩湍流边界层平均场的解析刻画
国家自然科学基金
0+阅读 · 2012年12月31日
CUDA、OpenMP和MPI混合加速的隐式粒子模拟算法与框架研究
国家自然科学基金
1+阅读 · 2012年12月31日
扩散问题的一类显式并行算法设计与实现
国家自然科学基金
0+阅读 · 2011年12月31日
实时多模粒子PHD滤波器算法与硬件实现研究
国家自然科学基金
0+阅读 · 2011年12月31日
基于非刚性变换不变性的动态三维几何模型分解技术研究
国家自然科学基金
1+阅读 · 2009年12月31日
Who Is Missing? Characterizing the Participation of Different Demographic Groups in a Korean Nationwide Daily Conversation Corpus
Arxiv
2+阅读 · 2022年4月20日
Pre-Training on Dynamic Graph Neural Networks
Pre-Training on Dynamic Graph Neural Networks
Arxiv
1+阅读 · 2022年4月18日
Retrieve-then-extract Based Knowledge Graph Querying Using Graph Neural Networks
Arxiv
1+阅读 · 2022年4月15日
Knowledge Embedding Based Graph Convolutional Network
Knowledge Embedding Based Graph Convolutional Network
Arxiv
24+阅读 · 2021年4月23日
已删除
已删除
Arxiv
33+阅读 · 2020年3月23日
Domain Representation for Knowledge Graph Embedding
Domain Representation for Knowledge Graph Embedding
Arxiv
14+阅读 · 2019年9月11日
Knowledge-aware Graph Neural Networks with Label Smoothness Regularization for Recommendation
Arxiv
11+阅读 · 2019年6月13日
Dynamic Graph Neural Networks
Arxiv
24+阅读 · 2018年10月24日
Self-Attention with Relative Position Representations
Arxiv
14+阅读 · 2018年3月6日
Deep Semantic Role Labeling with Self-Attention
Arxiv
13+阅读 · 2017年12月5日
VIP会员
相关主题
自动架构搜索
KDD 2021
KDD
BERT
搜索
论文
最新内容
《火线上的后勤保障：对抗环境下的随机规划模型研究——俄乌场景案例分析》99页
《火线上的后勤保障：对抗环境下的随机规划模型研究——俄乌场景案例分析》99页
专知会员服务
10+阅读 · 7月16日
《无人地面战车（UGV）的崛起》报告
《无人地面战车（UGV）的崛起》报告
专知会员服务
6+阅读 · 7月16日
《无人机参数化与集群飞行创新项目的监控流程管理：模型、策略及自适应解决方案》
《无人机参数化与集群飞行创新项目的监控流程管理：模型、策略及自适应解决方案》
专知会员服务
5+阅读 · 7月16日
《美军开放式任务系统（OMS）定义与文档（D&D）——Java关键抽象层（CAL）接口生成规范》47页标准
《美军开放式任务系统（OMS）定义与文档（D&D）——Java关键抽象层（CAL）接口生成规范》47页标准
专知会员服务
11+阅读 · 7月16日
美陆军任务式指挥人工智能解决方案
美陆军任务式指挥人工智能解决方案
专知会员服务
10+阅读 · 7月16日
ICML 2026 | 理论级自动形式化：从孤立命题到统一形式化知识库
ICML 2026 | 理论级自动形式化：从孤立命题到统一形式化知识库
专知会员服务
7+阅读 · 7月16日
综述 | 现代智能体自我改进，从模型更新到脚手架演化
综述 | 现代智能体自我改进，从模型更新到脚手架演化
专知会员服务
13+阅读 · 7月16日
美国陆军宣布“项目融合-顶点6”：现代化进程的关键里程碑
美国陆军宣布“项目融合-顶点6”：现代化进程的关键里程碑
专知会员服务
12+阅读 · 7月15日
五角大楼新版反无人机手册：内容解析与战略影响（附手册100页原件）
五角大楼新版反无人机手册：内容解析与战略影响（附手册100页原件）
专知会员服务
15+阅读 · 7月15日
《军事基地能源韧性与经济性权衡评估方法研究》
《军事基地能源韧性与经济性权衡评估方法研究》
专知会员服务
7+阅读 · 7月15日
ACM MM 2026 | UNIT：释放大语言模型在图持续学习中的潜力
ACM MM 2026 | UNIT：释放大语言模型在图持续学习中的潜力
专知会员服务
9+阅读 · 7月15日
综述 | 具身视觉语言导航：系统综述与真实世界评测
综述 | 具身视觉语言导航：系统综述与真实世界评测
专知会员服务
12+阅读 · 7月15日
应对第1、2类无人机威胁的推荐战术、技术与程序
应对第1、2类无人机威胁的推荐战术、技术与程序
专知会员服务
11+阅读 · 7月15日
《反制多无人机集群攻城：序贯斯塔克伯格安全博弈方法研究》59页
《反制多无人机集群攻城：序贯斯塔克伯格安全博弈方法研究》59页
专知会员服务
13+阅读 · 7月15日
博士论文 | 可扩展、自我改进的大语言模型智能体
博士论文 | 可扩展、自我改进的大语言模型智能体
专知会员服务
15+阅读 · 7月14日
相关VIP内容
【AAAI 2022】XLM-K：通过多语言知识库提高跨语言预训练模型
【AAAI 2022】XLM-K：通过多语言知识库提高跨语言预训练模型
专知会员服务
27+阅读 · 2022年1月13日
【NeurIPS 2021】使用动态图进行3D目标检测
专知会员服务
15+阅读 · 2021年10月15日
【KDD2021】用NAS实现任务无关且可动态调整尺寸的BERT压缩
【KDD2021】用NAS实现任务无关且可动态调整尺寸的BERT压缩
专知会员服务
17+阅读 · 2021年9月2日
【ICCV 2021 】Vision Transformer中的相对位置编码
专知会员服务
30+阅读 · 2021年7月30日
【KDD2021】基于神经结构搜索的任务无关与自适应BERT压缩
专知会员服务
9+阅读 · 2021年6月5日
【NeurIPS 2020】视觉和语言表示学习的大规模对抗性训练
【NeurIPS 2020】视觉和语言表示学习的大规模对抗性训练
专知会员服务
15+阅读 · 2020年10月27日
【NeurIPS 2020】融入BERT到并行序列模型
【NeurIPS 2020】融入BERT到并行序列模型
专知会员服务
26+阅读 · 2020年10月15日
【KDD2020】 利用多信号输入推断知识图谱中节点的重要性
专知会员服务
40+阅读 · 2020年9月10日
【Hinton新论文】SimCLRv2来了！提出蒸馏新思路，可迁移至小模型，性能精度超越有监督
【Hinton新论文】SimCLRv2来了！提出蒸馏新思路，可迁移至小模型，性能精度超越有监督
专知会员服务
41+阅读 · 2020年7月21日
最新BERT相关论文清单，BERT-related Papers
最新BERT相关论文清单，BERT-related Papers
专知会员服务
53+阅读 · 2019年9月29日
热门VIP内容
相关资讯
AAAI 2022 | 北大 & 阿里达摩院：基于对比学习的预训练语言模型剪枝压缩
AAAI 2022 | 北大 & 阿里达摩院：基于对比学习的预训练语言模型剪枝压缩
PaperWeekly
0+阅读 · 2022年2月14日
直播预告 | AAAI 2022论文解读：基于对比学习的预训练语言模型剪枝压缩
直播预告 | AAAI 2022论文解读：基于对比学习的预训练语言模型剪枝压缩
PaperWeekly
0+阅读 · 2022年1月19日
直播 | AAAI 2022论文解读：三⻆分解一致性约束的端到端语音翻译
直播 | AAAI 2022论文解读：三⻆分解一致性约束的端到端语音翻译
PaperWeekly
0+阅读 · 2022年1月10日
浅谈BERT/Transformer模型的压缩与优化加速
浅谈BERT/Transformer模型的压缩与优化加速
PaperWeekly
1+阅读 · 2021年12月31日
KDD 2021 | 用NAS实现任务无关且可动态调整尺寸的BERT压缩
KDD 2021 | 用NAS实现任务无关且可动态调整尺寸的BERT压缩
微软研究院AI头条
0+阅读 · 2021年8月11日
[Google]BERT压缩到7MB！最新基于最优子词和共享投影的极限语言压缩模型
[Google]BERT压缩到7MB！最新基于最优子词和共享投影的极限语言压缩模型
专知
31+阅读 · 2019年10月6日
最新必读【预训练语言模型(BERT/XLNet等)】论文，Google/微软/华为ICLR2020提交论文
最新必读【预训练语言模型(BERT/XLNet等)】论文，Google/微软/华为ICLR2020提交论文
专知
36+阅读 · 2019年9月29日
近期必读的12篇KDD 2019【图神经网络（GNN）】相关论文
近期必读的12篇KDD 2019【图神经网络（GNN）】相关论文
专知
101+阅读 · 2019年8月6日
近期必读的10篇ACL 2019【图神经网络（GNN）+NLP】相关论文和代码
近期必读的10篇ACL 2019【图神经网络（GNN）+NLP】相关论文和代码
专知
56+阅读 · 2019年6月18日
CVPR 2019 Oral 论文解读 | 百度提出关于网络压缩和加速的新剪枝算法
CVPR 2019 Oral 论文解读 | 百度提出关于网络压缩和加速的新剪枝算法
AI科技评论
11+阅读 · 2019年5月28日
相关基金
粒子物理离线数据处理资源分配与作业管理双层调度算法研究
国家自然科学基金
0+阅读 · 2014年12月31日
基于冗余消除和邻居"辐射"的动态SPM管理方法研究
国家自然科学基金
0+阅读 · 2013年12月31日
混合云中的数据密集型工作流调度策略研究
国家自然科学基金
1+阅读 · 2013年12月31日
并行系统上大规模图中最短路径实时计算研究
国家自然科学基金
1+阅读 · 2013年12月31日
异构GPU集群混合粒度任务协同调度与动态均衡机制研究
国家自然科学基金
2+阅读 · 2012年12月31日
可压缩湍流边界层平均场的解析刻画
国家自然科学基金
0+阅读 · 2012年12月31日
CUDA、OpenMP和MPI混合加速的隐式粒子模拟算法与框架研究
国家自然科学基金
1+阅读 · 2012年12月31日
扩散问题的一类显式并行算法设计与实现
国家自然科学基金
0+阅读 · 2011年12月31日
实时多模粒子PHD滤波器算法与硬件实现研究
国家自然科学基金
0+阅读 · 2011年12月31日
基于非刚性变换不变性的动态三维几何模型分解技术研究
国家自然科学基金
1+阅读 · 2009年12月31日
相关论文
Who Is Missing? Characterizing the Participation of Different Demographic Groups in a Korean Nationwide Daily Conversation Corpus
Arxiv
2+阅读 · 2022年4月20日
Pre-Training on Dynamic Graph Neural Networks
Pre-Training on Dynamic Graph Neural Networks
Arxiv
1+阅读 · 2022年4月18日
Retrieve-then-extract Based Knowledge Graph Querying Using Graph Neural Networks
Arxiv
1+阅读 · 2022年4月15日
Knowledge Embedding Based Graph Convolutional Network
Knowledge Embedding Based Graph Convolutional Network
Arxiv
24+阅读 · 2021年4月23日
已删除
已删除
Arxiv
33+阅读 · 2020年3月23日
Domain Representation for Knowledge Graph Embedding
Domain Representation for Knowledge Graph Embedding
Arxiv
14+阅读 · 2019年9月11日
Knowledge-aware Graph Neural Networks with Label Smoothness Regularization for Recommendation
Arxiv
11+阅读 · 2019年6月13日
Dynamic Graph Neural Networks
Arxiv
24+阅读 · 2018年10月24日
Self-Attention with Relative Position Representations
Arxiv
14+阅读 · 2018年3月6日
Deep Semantic Role Labeling with Self-Attention
Arxiv
13+阅读 · 2017年12月5日
大家都在搜
  1. maven
  2. palantir
  3. 无人机蜂群
  4. 无人机战争
  5. 基于模型
  6. 对抗特征转移
  7. 篮球制作
  8. 雷鸟科技
  9. 反无
  10. rNPV (风险调整现金流折现法)
    11.
Top
微信扫码咨询专知VIP会员
Top