Neural network pruning reduces model size by removing less important parameters while aiming to preserve predictive performance. Although the Lottery Ticket Hypothesis (LTH) shows that sparse subnetworks can match dense networks when trained from suitable initializations, its iterative pruning procedure requires multiple complete training cycles. This work evaluates progressive magnitude-based pruning as a single-cycle alternative. The method gradually increases sparsity during training using a linear schedule and updates pruning masks based on active weight magnitudes. We conduct systematic experiments on CIFAR-10 and MNIST across ResNet, VGG-style, and LeNet architectures, comparing the proposed method with representative iterative and initialization-based pruning baselines, including LTH, SNIP, and GraSP. On CIFAR-10, the method achieves 95.12\% accuracy on ResNet-18 at 72.9\% sparsity, compared with 90.5\% reported for LTH. At extreme sparsity, it achieves 93.13\% accuracy on a VGG-like architecture at 97\% sparsity, compared with approximately 92.0\% for SNIP, and 93.44\% accuracy on VGG-19 at 97.97\% sparsity, compared with 92.19\% for GraSP at 98\% sparsity. A sparsity-accuracy analysis on ResNet-18 further shows that accuracy remains within 0.1 percentage points of the dense baseline across 70--85\% sparsity. These results indicate that progressive magnitude-based pruning provides an effective single-cycle approach for neural network sparsification under the evaluated settings.


翻译:神经网络剪枝通过移除次要参数减小模型规模,同时力求保持预测性能。尽管彩票假说(Lottery Ticket Hypothesis, LTH)表明,在适当初始条件下训练的稀疏子网络可匹配稠密网络性能,但其迭代式剪枝过程需完成多个完整训练周期。本研究将渐进幅度剪枝评估为一种单周期替代方案:该方法采用线性调度在训练过程中逐步增加稀疏度,并依据活跃权重大小更新剪枝掩码。我们在CIFAR-10与MNIST数据集上,针对ResNet、VGG风格及LeNet架构开展系统性实验,将所提方法与LTH、SNIP、GraSP等具有代表性的迭代式及基于初始化的剪枝基线进行对比。在CIFAR-10数据集上,本方法在ResNet-18模型达到72.9%稀疏度时实现95.12%的准确率(LTH报告值为90.5%);在极端稀疏场景下,该方法在VGG类架构达到97%稀疏度时取得93.13%的准确率(SNIP约为92.0%),在VGG-19模型达到97.97%稀疏度时获得93.44%的准确率(GraSP在98%稀疏度时为92.19%)。基于ResNet-18的稀疏度-准确率分析进一步表明,在70-85%稀疏度区间内,模型准确率与稠密基线相差不超过0.1个百分点。这些结果表明,在评估设置下,渐进幅度剪枝为神经网络稀疏化提供了一种有效的单周期方法。

0
下载
关闭预览

相关内容

【MIT博士论文】稀疏可训练神经网络
专知会员服务
39+阅读 · 2023年11月28日
《深度神经网络剪枝》最新2023综述
专知会员服务
35+阅读 · 2023年8月17日
【AAAI2022】基于对比学习的预训练语言模型剪枝压缩
专知会员服务
29+阅读 · 2022年1月24日
SFFAI报告 | 常建龙 :深度卷积网络中的卷积算子研究进展
人工智能前沿讲习班
11+阅读 · 2018年10月22日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
6+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
7+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
4+阅读 · 6月17日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员