We propose Spectral Complex Autoencoder Pruning (SCAP), a reconstruction-based criterion that measures functional redundancy at the level of individual output channels. For each convolutional layer, we construct a complex interaction field by pairing the full multi-channel input activation as the real part with a single output-channel activation (spatially aligned and broadcast across input channels) as the imaginary part. We transform this complex field to the frequency domain and train a low-capacity autoencoder to reconstruct normalized spectra. Channels whose spectra are reconstructed with high fidelity are interpreted as lying close to a low-dimensional manifold captured by the autoencoder and are therefore more compressible; conversely, channels with low fidelity are retained as they encode information that cannot be compactly represented by the learned manifold. This yields an importance score (optionally fused with the filter L1 norm) that supports simple threshold-based pruning and produces a structurally consistent pruned network. On VGG16 trained on CIFAR-10, at a fixed threshold of 0.6, we obtain 90.11% FLOP reduction and 96.30% parameter reduction with an absolute Top-1 accuracy drop of 1.67% from a 93.44% baseline after fine-tuning, demonstrating that spectral reconstruction fidelity of complex interaction fields is an effective proxy for channel-level redundancy under aggressive compression.


翻译:我们提出谱复数自编码器剪枝(SCAP),这是一种基于重构的准则,用于在单个输出通道层面度量功能冗余。对于每个卷积层,我们通过将完整的多通道输入激活作为实部,与单个输出通道激活(在空间上对齐并在输入通道间广播)作为虚部配对,构建一个复数交互场。我们将该复数场变换至频域,并训练一个低容量自编码器来重构归一化频谱。其频谱能够被高保真重构的通道,被解释为位于自编码器所捕获的低维流形附近,因而更具可压缩性;反之,保真度低的通道则被保留,因为它们编码了无法通过已学习流形紧凑表示的信息。由此产生一个重要性分数(可选择与滤波器L1范数融合),该分数支持基于简单阈值的剪枝,并产生结构一致的剪枝网络。在CIFAR-10数据集上训练的VGG16模型中,在固定阈值0.6下,我们获得了90.11%的浮点运算量减少和96.30%的参数减少,经过微调后,其Top-1准确率绝对下降1.67%(基线准确率为93.44%)。这表明,复数交互场的频谱重构保真度是激进压缩下通道级冗余的有效代理指标。

0
下载
关闭预览

相关内容

《深度神经网络剪枝》最新2023综述
专知会员服务
35+阅读 · 2023年8月17日
自编码器导论,26页pdf
专知会员服务
42+阅读 · 2022年1月18日
专知会员服务
37+阅读 · 2021年10月16日
【反馈循环自编码器】FEEDBACK RECURRENT AUTOENCODER
专知会员服务
23+阅读 · 2020年1月28日
再谈变分自编码器VAE:从贝叶斯观点出发
PaperWeekly
13+阅读 · 2018年4月2日
【干货】深入理解变分自编码器
专知
21+阅读 · 2018年3月22日
【干货】深入理解自编码器(附代码实现)
【干货】一文读懂什么是变分自编码器
专知
12+阅读 · 2018年2月11日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员