本文针对深度卷积神经网络提出了一种常规的、易应用的变换单元,即Gated Channel Transformation (GCT) 模块。GCT结合了归一化方法和注意力机制,并使用轻量级的、易于分析的变量来隐式地学习网络通道间的相互关系。这些通道量级的变量可以直接影响神经元间的竞争或者合作行为,且能方便地与卷积网络本身的权重参数一同参与训练。通过引入归一化方法,GCT模块要远比SE-Nets的SE模块轻量,这使得将GCT部署在每个卷积层上而不让网络变得过于臃肿成为了可能。本文在多个大型数据集上针对数种基础视觉任务进行了充分的实验,即ImageNet数据集上的图片分类,COCO上的目标检测与实例分割,还有Kinetics上的视频分类。在这些视觉任务上,引入GCT模块均能带来明显的性能提升。这些大量的实验充分证明了GCT模块的有效性。

成为VIP会员查看完整内容
13

相关内容

【CVPR2020-Oral】用于深度网络的任务感知超参数
专知会员服务
28+阅读 · 2020年5月25日
【CVPR 2020-商汤】8比特数值也能训练卷积神经网络模型
专知会员服务
26+阅读 · 2020年5月7日
CVPR2020 | 商汤-港中文等提出PV-RCNN:3D目标检测新网络
专知会员服务
45+阅读 · 2020年4月17日
ICCV 2019 | 精确的端到端的弱监督目标检测网络
AI科技评论
11+阅读 · 2019年12月9日
CVPR2019 | 医学影像:MIT 利用学习图像变换进行数据增强
计算机视觉life
26+阅读 · 2019年3月27日
自注意力机制在计算机视觉中的应用
GAN生成式对抗网络
19+阅读 · 2018年12月20日
MSRA视觉组可变形卷积网络升级!更高性能,更强建模能力
未来产业促进会
6+阅读 · 2018年11月29日
【CVPR2018】物体检测中的结构推理网络
深度学习大讲堂
6+阅读 · 2018年7月30日
干货 | ImageNet冠军模型SE-Net详解
AI科技评论
5+阅读 · 2018年2月6日
CVPR | ImageNet冠军模型SE-Net详解!
全球人工智能
3+阅读 · 2017年8月2日
Arxiv
4+阅读 · 2020年3月27日
SlowFast Networks for Video Recognition
Arxiv
19+阅读 · 2018年12月10日
Arxiv
6+阅读 · 2018年3月29日
Arxiv
11+阅读 · 2018年2月4日
Arxiv
8+阅读 · 2018年1月25日
Arxiv
7+阅读 · 2018年1月24日
VIP会员
相关主题
最新内容
世界模型入门:从序贯决策到通用智能体
专知会员服务
6+阅读 · 10月24日
军事域更好使用人工智能的实用指南
专知会员服务
9+阅读 · 10月22日
《衡量语言模型中的作战规划能力》
专知会员服务
14+阅读 · 10月20日
Maven智能系统:帕兰提尔军事人工智能平台详解
专知会员服务
17+阅读 · 10月20日
《测试自动化框架在敏捷软件开发中的角色》
专知会员服务
9+阅读 · 10月20日
俄罗斯如何拦截乌克兰无人机与巡航导弹
专知会员服务
13+阅读 · 10月15日
《武器-目标分配问题:精确与近似求解算法》
专知会员服务
19+阅读 · 10月15日
相关资讯
ICCV 2019 | 精确的端到端的弱监督目标检测网络
AI科技评论
11+阅读 · 2019年12月9日
CVPR2019 | 医学影像:MIT 利用学习图像变换进行数据增强
计算机视觉life
26+阅读 · 2019年3月27日
自注意力机制在计算机视觉中的应用
GAN生成式对抗网络
19+阅读 · 2018年12月20日
MSRA视觉组可变形卷积网络升级!更高性能,更强建模能力
未来产业促进会
6+阅读 · 2018年11月29日
【CVPR2018】物体检测中的结构推理网络
深度学习大讲堂
6+阅读 · 2018年7月30日
干货 | ImageNet冠军模型SE-Net详解
AI科技评论
5+阅读 · 2018年2月6日
CVPR | ImageNet冠军模型SE-Net详解!
全球人工智能
3+阅读 · 2017年8月2日
相关论文
Arxiv
4+阅读 · 2020年3月27日
SlowFast Networks for Video Recognition
Arxiv
19+阅读 · 2018年12月10日
Arxiv
6+阅读 · 2018年3月29日
Arxiv
11+阅读 · 2018年2月4日
Arxiv
8+阅读 · 2018年1月25日
Arxiv
7+阅读 · 2018年1月24日
微信扫码咨询专知VIP会员