Previous AutoML pruning works utilized individual layer features to automatically prune filters. We analyze the correlation for two layers from the different blocks which have a short-cut structure. It shows that, in one block, the deeper layer has many redundant filters which can be represented by filters in the former layer. So, it is necessary to take information from other layers into consideration in pruning. In this paper, a novel pruning method, named GraphPruning, is proposed. Any series of the network is viewed as a graph. To automatically aggregate neighboring features for each node, a graph aggregator based on graph convolution networks(GCN) is designed. In the training stage, a PruningNet that is given aggregated node features generates reasonable weights for any size of the sub-network. Subsequently, the best configuration of the Pruned Network is searched by reinforcement learning. Different from previous work, we take the node features from a well-trained graph aggregator instead of the hand-craft features, as the states in reinforcement learning. Compared with other AutoML pruning works, our method has achieved the state-of-the-art under the same conditions on ImageNet-2012.


翻译:先前的 Automle 修剪工程使用单个图层特性来自动淡化过滤器。 我们分析不同区块中具有短切结构的两层的相对关系。 它显示, 在一个区块中, 深层有许多多余的过滤器, 可以由前层的过滤器来代表。 因此, 有必要将其它层的信息纳入修剪过程中的考虑范围。 在本文中, 提出了一个名为 GrapPrunning 的小修剪方法。 网络的任何序列都被视为一个图形。 要对每个节点的相邻特性进行自动汇总, 设计了一个基于图形相容网络的图形聚合器( GCN) 。 在培训阶段, 一个给出汇总节点特性的普鲁宁网络为子网络的任何大小生成了合理的重量。 随后, Prurrinened 网络的最佳配置会通过加固学习来搜索。 不同于先前的工作, 我们从经过良好训练的图形分隔器中选择节点特性, 而不是手动特性, 与正在加固学习的状态相比。 与其他 AutML prunning prend- art press- com- lat 在相同的条件下, 我们的方法已经实现了状态- 2012 。

1
下载
关闭预览

相关内容

【ICLR2020-哥伦比亚大学】多关系图神经网络CompGCN
专知会员服务
50+阅读 · 2020年4月2日
《DeepGCNs: Making GCNs Go as Deep as CNNs》
专知会员服务
32+阅读 · 2019年10月17日
【Code】GraphSAGE 源码解析
AINLP
31+阅读 · 2020年6月22日
一文读懂模型压缩
极市平台
4+阅读 · 2020年3月16日
BERT 瘦身之路:Distillation,Quantization,Pruning
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
Deep Compression/Acceleration:模型压缩加速论文汇总
极市平台
14+阅读 · 2019年5月15日
逆强化学习-学习人先验的动机
CreateAMind
16+阅读 · 2019年1月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
18+阅读 · 2019年1月7日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
可解释的CNN
CreateAMind
18+阅读 · 2017年10月5日
Arxiv
9+阅读 · 2018年10月18日
VIP会员
最新内容
2025年大语言模型进展报告
专知会员服务
1+阅读 · 今天13:30
多智能体协作机制
专知会员服务
0+阅读 · 今天13:26
非对称优势:美海军开发低成本反无人机技术
专知会员服务
4+阅读 · 今天4:39
《美战争部小企业创新研究(SBIR)计划》
专知会员服务
6+阅读 · 今天2:48
《军事模拟:将军事条令与目标融入AI智能体》
专知会员服务
9+阅读 · 今天2:43
【NTU博士论文】3D人体动作生成
专知会员服务
7+阅读 · 4月24日
以色列军事技术对美国军力发展的持续性赋能
专知会员服务
8+阅读 · 4月24日
《深度强化学习在兵棋推演中的应用》40页报告
专知会员服务
14+阅读 · 4月24日
《多域作战面临复杂现实》
专知会员服务
10+阅读 · 4月24日
《印度的多域作战:条令与能力发展》报告
专知会员服务
5+阅读 · 4月24日
相关VIP内容
【ICLR2020-哥伦比亚大学】多关系图神经网络CompGCN
专知会员服务
50+阅读 · 2020年4月2日
《DeepGCNs: Making GCNs Go as Deep as CNNs》
专知会员服务
32+阅读 · 2019年10月17日
相关资讯
【Code】GraphSAGE 源码解析
AINLP
31+阅读 · 2020年6月22日
一文读懂模型压缩
极市平台
4+阅读 · 2020年3月16日
BERT 瘦身之路:Distillation,Quantization,Pruning
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
Deep Compression/Acceleration:模型压缩加速论文汇总
极市平台
14+阅读 · 2019年5月15日
逆强化学习-学习人先验的动机
CreateAMind
16+阅读 · 2019年1月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
18+阅读 · 2019年1月7日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
可解释的CNN
CreateAMind
18+阅读 · 2017年10月5日
Top
微信扫码咨询专知VIP会员