卷积越大性能越强！RepLKNet一作在线分享：Transformer阴影下的超大卷积核复兴
最近，清华大学、旷视科技等机构的一项工作表明，CNN 中的 kernel size 其实是一个非常重要但总是被人忽略的设计维度：在现代模型设计的加持下，卷积核越大越暴力，既涨点又高效，甚至大到 31x31 都非常 work。即便在大体量下游任务上，超大卷积核模型 RepLKNet 与 Swin 等 Transformer 相比，性能也更好或相当。
基于超大卷积核，一些挑战传统认知的结论逐渐浮现，例如：深度小kernel模型的有效感受野其实不大，较浅的大kernel模型有效感受野非常大且更像人类（模型的预测主要根据物体的形状而非局部的纹理）；Transformers 性能强悍可能不是因为Attention机制，而是因为大感受野……
在3月24日19:00-20:00的论文分享中，机器之心邀请到了 RepLKNet 论文一作、清华大学博士生丁霄汉为我们带来更深入的解读。
分享主题：RepLKNet：超大卷积核，大到31x31，卷积越大，性能越强
分享嘉宾：丁霄汉，清华大学博士生，旷视科技 Base Model 组实习生，研究方向为通用模型架构设计。在 CVPR 等会议上发表过一系列论文，提出了结构重参数化方法论及其若干应用，获得 GitHub 约 4000 Star。
分享摘要：RepLKNet 挑战了诸多行业内的传统认知，发现大到 31x31 的超大卷积核既涨点又高效，越大越涨点。归纳了在现代模型中应用大卷积的五条准则，如用小卷积核进行重参数化等。在此之上提出了一种新的架构 RepLKNet，在大模型和下游任务上取得了亮眼的结果，比 Swin 更好或相当，远超传统小 kernel 的 CNN。
分享时间：北京时间3月24日19:00-20:00
直播间：关注机动组视频号，北京时间3月24日开播。
机器之心 · 机动组
点击阅读原文，访问机动组官网，观看往期回顾；
关注机动组服务号，获取每周直播预告。
登录查看更多
相关内容
Arxiv
0+阅读 · 2022年4月16日
Arxiv
12+阅读 · 2021年8月30日
相关VIP内容
相关资讯
相关论文
Arxiv
0+阅读 · 2022年4月16日
Arxiv
12+阅读 · 2021年8月30日
微信扫码咨询专知VIP会员