近年来,随着深度神经网络模型性能不断刷新,模型的骨干网络参数量愈发庞大,存储和计算代价不断提高,从而导致难以部署在资源受限的嵌入式平台上。滴滴 AI Labs 与美国东北大学王言治教授研究组合作,联合提出了一种基于 AutoML 思想的自动结构化剪枝的算法框架 AutoCompress,能自动化的去寻找深度模型剪枝中的超参数,去除模型中不同层的参数冗余,替代人工设计的过程并实现了超高的压缩倍率。从而满足嵌入式端上运行深度模型的实时性能需求。

相较之前方法的局限性,该方法提出三点创新性设计:

(1)提出混合型的结构化剪枝维度; (2)采用高效强大的神经网络剪枝算法 ADMM(交替乘子优化算法)对训练过程中的正则项进行动态更新; (3)利用了增强型引导启发式搜索的方式进行行为抽样。在 CIFAR 和 ImageNet 数据集的大量测试表明 AutoCompress 的效果显著超过各种神经网络压缩方法与框架。在相同准确率下,实际参数量的压缩相对之前方法最大可以提高超 120 倍。

成为VIP会员查看完整内容
30

相关内容

模型压缩,多指AI领域,多学习生成的模型进行压缩,简化,同时又要保证一定的可靠性,便于模型在低端设备上部署。
斯坦福2020硬课《分布式算法与优化》
专知会员服务
123+阅读 · 2020年5月6日
ICCV 2019:华为、北大等首创GAN剪枝算法,线上加速 3 倍以上
GAN生成式对抗网络
9+阅读 · 2019年9月24日
已删除
将门创投
6+阅读 · 2019年6月10日
一文读懂图像压缩算法
七月在线实验室
17+阅读 · 2018年5月2日
Learning to See Through Obstructions
Arxiv
7+阅读 · 2020年4月2日
Arxiv
5+阅读 · 2019年11月22日
Arxiv
6+阅读 · 2018年8月27日
Arxiv
15+阅读 · 2018年2月4日
VIP会员
最新内容
以色列-美国-伊朗战争中的无人机:关键要点
专知会员服务
1+阅读 · 今天14:04
《Palantir任务保障性软件安全标准(MA-S2)》
专知会员服务
5+阅读 · 今天13:49
基于声学的无人机检测技术综述
专知会员服务
3+阅读 · 今天13:37
《当代混合战争分析框架:俄乌战争经验教训》
专知会员服务
4+阅读 · 今天13:11
战略前沿人工智能的再思考(中文)
专知会员服务
7+阅读 · 5月29日
《量化地基防空系统间接效应的博弈论方法》
专知会员服务
5+阅读 · 5月29日
“史诗怒火行动”中美军损失的作战飞机
专知会员服务
6+阅读 · 5月29日
ICML 2026 | 理解上下文持续学习中的泛化与遗忘
专知会员服务
5+阅读 · 5月28日
相关资讯
ICCV 2019:华为、北大等首创GAN剪枝算法,线上加速 3 倍以上
GAN生成式对抗网络
9+阅读 · 2019年9月24日
已删除
将门创投
6+阅读 · 2019年6月10日
一文读懂图像压缩算法
七月在线实验室
17+阅读 · 2018年5月2日
微信扫码咨询专知VIP会员