In computer vision, the basic pipeline of most convolutional neural networks consists of multiple feature extraction layers, where the input signal is downsampled to a lower resolution in each subsequent layer. This downsampling process is commonly referred to as pooling, which is an essential operation in CNNs. Pooling improves robustness against transformations, reduces the number of trainable parameters, increases the receptive field, and lowers computation time. Since pooling is a lossy process but remains important for extracting high-level information from low-level representations, it is important to preserve the most prominent information from previous activations to improve network discriminability. Standard pooling is usually performed using dense pooling methods, such as max pooling or average pooling, or through strided convolutional kernels. In this paper, we propose a simple yet effective adaptive pooling method, called FlexPooling, which generalizes average pooling by learning a weighted average over activations jointly with the rest of the network. We further show that attaching Simple Auxiliary Classifiers (SAC) to the CNN improves performance and demonstrates the effectiveness of the proposed method compared with standard pooling methods. Experiments on multiple popular image classification datasets show that FlexPooling consistently outperforms baseline networks, achieving approximately 1 to 3 percent improvement in accuracy.


翻译:在计算机视觉领域,多数卷积神经网络的基本流程包含多个特征提取层,每个后续层都将输入信号降采样至更低分辨率。这种降采样过程通常称为池化,是CNN中的关键操作。池化增强了对变换的鲁棒性,减少了可训练参数数量,扩大了感受野,并降低了计算时间。由于池化虽是有损过程,但对从低级表示中提取高级信息仍至关重要,因此保留前一层激活中最显著的信息以提升网络判别能力具有重要意义。标准池化通常使用密集池化方法(如最大池化或平均池化)或通过步长卷积核实现。本文提出一种简单而有效的自适应池化方法——FlexPooling,该方法通过与网络其余部分联合学习激活值的加权平均,对平均池化进行泛化。我们进一步证明,在CNN中附加简单辅助分类器(SAC)可提升性能,并验证了所提方法相较于标准池化方法的有效性。在多个主流图像分类数据集上的实验表明,FlexPooling一致优于基线网络,准确率提升约1%至3%。

0
下载
关闭预览

相关内容

思想来自于视觉机制,是对信息进行抽象的过程。
图像分类的深度卷积神经网络模型综述
专知会员服务
57+阅读 · 2021年10月29日
【NeurIPS2020】图神经网络中的池化再思考
专知会员服务
52+阅读 · 2020年10月25日
【ICLR-2020】网络反卷积,NETWORK DECONVOLUTION
专知会员服务
39+阅读 · 2020年2月21日
深入卷积神经网络背后的数学原理
人工智能学家
10+阅读 · 2019年4月26日
【学界】基于条件深度卷积生成对抗网络的图像识别方法
GAN生成式对抗网络
16+阅读 · 2018年7月26日
一文让你入门CNN,附3份深度学习视频资源
机器学习算法与Python学习
12+阅读 · 2018年3月10日
深度学习之CNN简介
Python技术博文
20+阅读 · 2018年1月10日
深度学习中的五大正则化方法和七大优化策略
全球人工智能
11+阅读 · 2017年12月25日
深度学习(可视化部分)-使用keras识别猫咪
北京思腾合力科技有限公司
10+阅读 · 2017年11月30日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
Arxiv
13+阅读 · 2023年2月7日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
1+阅读 · 今天14:45
定向能反无人机系统最新发展动态
专知会员服务
5+阅读 · 今天13:50
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
3+阅读 · 今天13:33
相关VIP内容
图像分类的深度卷积神经网络模型综述
专知会员服务
57+阅读 · 2021年10月29日
【NeurIPS2020】图神经网络中的池化再思考
专知会员服务
52+阅读 · 2020年10月25日
【ICLR-2020】网络反卷积,NETWORK DECONVOLUTION
专知会员服务
39+阅读 · 2020年2月21日
相关资讯
深入卷积神经网络背后的数学原理
人工智能学家
10+阅读 · 2019年4月26日
【学界】基于条件深度卷积生成对抗网络的图像识别方法
GAN生成式对抗网络
16+阅读 · 2018年7月26日
一文让你入门CNN,附3份深度学习视频资源
机器学习算法与Python学习
12+阅读 · 2018年3月10日
深度学习之CNN简介
Python技术博文
20+阅读 · 2018年1月10日
深度学习中的五大正则化方法和七大优化策略
全球人工智能
11+阅读 · 2017年12月25日
深度学习(可视化部分)-使用keras识别猫咪
北京思腾合力科技有限公司
10+阅读 · 2017年11月30日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员