ICML 2026 Spotlight | WBMM：让大感受野卷积摆脱散乱访存瓶颈

大核卷积近几年重新成为视觉骨干网络的重要方向。ConvNeXt、RepLKNet、SLaK、UniRepLKNet 等工作表明，更大的空间感受野能带来更强表征能力，尤其对检测、分割和超分辨率等密集预测任务很有价值。但工程上，大核深度卷积并不友好：kernel 越大，每个输出位置需要 gather 的输入邻域越分散，访存越不规则，速度下降越明显。 ICML 2026 Spotlight 论文 WBMM: Windowed Batch Matrix Multiplication for Efficient Large Receptive Field Convolution 提出一种新的计算范式：不再让卷积逐位置 gather 大核邻域，而是把输入切成连续窗口，再通过相对位置偏置表构造权重矩阵，用 batched matrix multiplication 完成窗口内计算。作者把它称为 Windowed Batch Matrix Multiplication，WBMM。 这篇论文的核心价值不是简单换一个算子名字，而是把大感受野卷积的瓶颈从“散乱访存”转成“规则矩阵乘法”。在算子级 benchmark 中，WBMM 的 14×14 窗口在提供比 5×5 深度卷积大 7.8 倍单层感受野的同时，在大量场景中速度更快；结合跨窗口通信和层级窗口重参数化，WBMM 在 ImageNet-1K、COCO、ADE20K 上获得相当或更高精度，并带来 1.31-1.88× 训练加速。

论文信息

论文标题：WBMM: Windowed Batch Matrix Multiplication for Efficient Large Receptive Field Convolution 论文链接：https://arxiv.org/abs/2607.02097 会议：ICML 2026 Spotlight 作者：Wan Song、Wei Zhou、Rui Wang、Jun Yu、Toru Kurihara、Jiajia Xu、Shu Zhan 代码：论文称已开源，arXiv页面中提供代码链接。

1. 问题：大核卷积为什么越来越慢？

传统深度卷积在每个输出位置上，需要从输入特征图中读取 k×k 个邻域值。对于 3×3 或 5×5 卷积，这个代价尚可接受；但 kernel 增大到 13×13、27×27 后，访问位置跨越更多行，缓存命中变差，内存读取呈现明显的非连续 gather 模式。 论文的算子级实验显示，标准深度卷积从 5×5 增至 13×13 时，速度会下降 71-78%；到 27×27 时，下降可达 92-94%。这不是某个框架实现的问题，而是由 gather-based 访问模式决定的。 已有 Large Kernel Acceleration（LKA）CUDA kernel 能缓解小特征图上的训练开销，但在大特征图上会变得反效果明显。论文报告，在 224×224、batch=128 下，LKA 7×7 比标准 baseline 慢 80%，LKA 13×13 慢 89%。这对检测、分割、超分等高分辨率任务非常不利。

2. 方法：从遍历输入数据，改成遍历参数表

WBMM 的关键思想是：不要为每个输出位置去散乱收集 k×k 邻域，而是先把输入划分为连续、不重叠的窗口，再用相对位置偏置表生成窗口内权重矩阵，最后对连续窗口块做批量矩阵乘法。 图1：传统深度卷积围绕每个输出点 gather 邻域；WBMM 将输入切成连续窗口，通过相对位置表构造矩阵，再执行 batched MatMul。 具体来说，WBMM 将输入切成例如 7×7 或 14×14 的窗口。对于每个通道，它维护一个紧凑的相对位置偏置表 R，再通过索引构造窗口内权重矩阵 M。输出则由窗口特征块与 M 的批量矩阵乘法得到。 这带来一个很重要的性质：WBMM 的权重构造与 batch 和窗口数量解耦。窗口注意力需要为每个样本、每个窗口计算 query-key 和 softmax；WBMM 的权重矩阵是通道相关、输入无关的，可在推理时缓存，因此 batch 越大、窗口越多，矩阵乘法越能吃满硬件。

3. 访存模式：从 memory-bound 到 compute-bound

论文用 GPU memory access 图解释了 WBMM 的工程优势。5×5 深度卷积需要从 5 个非连续行分别取值；WBMM 则把窗口作为连续块读取，能更好适配 L1 cache 和 coalesced access。 图2：深度卷积需要跨多行 gather；WBMM 读取连续窗口块，访存更规则，算术强度更高。 这也是为什么 WBMM 呈现出与深度卷积相反的趋势。深度卷积 kernel 越大，访存越差；WBMM window 越大，单个窗口内的矩阵乘法规模更大，算术强度提升，固定开销被更多计算摊薄。因此作者观察到，WBMM 不是“窗口越大越慢”，而是在很多条件下“窗口越大越快”。

4. 三个轻量组件：跨窗口、缓存和层级重参数化

WBMM 基础算子是窗口内操作，天然缺少跨窗口通信。论文没有把 3×3 卷积硬塞进每个 WBMM block，而是采用 inter-block 3×3 depthwise convolution：在不同 stage 中以任务相关方式穿插 3×3 block，让每个算子都保持干净、可优化，同时提供跨窗口信息流。 第二个组件是推理缓存。训练时权重矩阵 M 需要随 R 的梯度更新而重建；推理时 M 固定，可一次构建并缓存，尤其在小特征图上可以减少索引开销。论文区分 WBMM-NC（no-cache，训练模式）和 WBMM-C（cached，推理模式），二者输出等价。 第三个组件是 hierarchical window reparameterization。对于分割等密集预测任务，作者结合 14×14 全局窗口和 7×7 局部子窗口。训练时两尺度独立处理，推理时将局部模式折叠进全局矩阵的对角块，因此不增加运行时成本。这使 WBMM 能同时保留大范围上下文和局部细节。

5. 算子级基准：WBMM 在大特征图和大 batch 下优势明显

论文在单层 feature map 上做了架构无关的算子 benchmark，使用单张 NVIDIA A800、FP32、256通道，并测试不同 batch、特征图分辨率和 kernel/window 大小。 图3：标准深度卷积随 kernel 增大显著变慢；LKA 在大特征图上不稳定；WBMM 尤其在缓存推理和较大窗口下保持更好吞吐。 核心结论有四点： 第一，标准深度卷积从 5×5 到 13×13 的速度下降非常稳定，且跨 batch、分辨率都存在。 第二，LKA 在小 feature map 上可能有效，但在 224×224 等大特征图上会比未加速 baseline 更慢，不适合作为高分辨率推理的通用方案。 第三，WBMM-C 14×14 相比 DW-Std 5×5，提供 196 vs. 25 的单层感受野，也就是 7.8 倍更大覆盖范围，同时在 feature map ≥28×28 且 batch ≥16 时更快。 第四，WBMM 的优势随 batch size 增强。这来自 batch-independent weight construction：权重矩阵不需要随样本和窗口重复构造。 图4：随着 batch 增大，WBMM 的加速更明显；在多种特征图分辨率下，14×14 WBMM 相比 5×5 深度卷积可达到约 2× 甚至更高加速。

6. 消融：相对位置、跨窗口通信和层级窗口都重要

论文首先验证了特征提取方式。基础 full connection 只有 80.89 Top-1 和 44.02 mIoU；加入相对位置偏置后提升到 82.71 Top-1 和 45.50 mIoU；再加 shortcut 后 mIoU 进一步到 45.79。这说明 WBMM 不能只做无结构矩阵连接，空间相对位置建模非常关键。 图5：相对位置偏置显著提升效果；跨窗口 3×3 混合需要按 stage 设计；层级窗口重参数化在 ADE20K 上带来 0.8 mIoU 提升。 对于窗口交互，单块内串联 3×3 深度卷积能获得较好 mIoU，但会增加训练和推理开销。因此作者最终采用跨 block 的 stage-wise 混合模式：分类任务与分割任务在 S1/S2 等高分辨率阶段对局部与全局信息的需求不同，最优模式也不同。 层级窗口重参数化在 ADE20K 上也很关键：纯 7×7 baseline 为 48.0 mIoU，纯 14×14 反而略低；最佳配置是在 S1-S2 使用 G+L，达到 48.8 mIoU。

7. 下游结果：分类、检测、分割都保持高效

在 ImageNet-1K 上，WBMM 与 UniRepLKNet 相比精度相当或略高，同时训练速度提升 1.31-1.88×，显存降低 8-12%。在 ADE20K 分割和 COCO 检测中，WBMM 也保持了高效率，层级重参数化版本在 mIoU 和 AP 上能超过 UniRepLKNet。 为了避免“架构不公平比较”，论文还做了受控 cross-operator 对比：保持整体架构、训练策略和超参数一致，只替换空间算子。 图6：在相同 Tiny 架构下，WBMM 与 13×13 深度卷积有相近分类和分割表现，但训练与推理更快；相比 SLaK-style 也明显更高效。 表中 WBMM-T 7×7 达到 83.0 Top-1、48.3 mIoU，训练时间 6:20，推理速度 1833.1 img/s；WBMM-T 14×14 Hier 达到 83.2 Top-1、48.8 mIoU，训练 6:31，推理 1842.2 img/s。相比之下，13×13 DW no LKA 训练 9:11，推理 1305.3 img/s；SLaK-original 训练 22:03，推理 549.0 img/s。

8. 与窗口注意力的区别：输入无关矩阵 vs. 输入相关注意力

WBMM 看起来也在窗口里做矩阵乘法，因此容易被误解为窗口注意力的变体。论文明确比较了二者：窗口注意力需要针对每个样本、每个窗口计算 query-key 乘积和 softmax，权重输入相关；WBMM 的权重由相对位置偏置表构造，输入无关，可缓存共享。 图7：WBMM 的权重构造复杂度是 O(C·d²)，与 batch 和窗口数无关；窗口注意力是 O(B·NhNw·d²)，并需要 softmax。 在参数和 FLOPs 匹配的对比中，窗口注意力有小幅分类优势，但在密集预测上落后，并且训练慢 1.32-1.36×，推理慢 1.47-1.48×。这说明 WBMM 更像一种大感受野空间算子，而不是自注意力替代品。

9. 可解释性：WBMM 学到了什么？

论文还可视化了 WBMM 学到的有效权重矩阵 M。结果显示，WBMM 并不是随意学习一个窗口内全连接矩阵，而是自发形成了可解释结构。 图8：WBMM 权重矩阵呈现局部性、通道专门化和频率选择性：有的通道类似边缘检测器，有的偏低通或高通。 第一，权重矩阵有很强的对角占优，超过 90% 的权重在距离 2 内衰减，说明模型自动学到了局部先验。 第二，不同通道会形成水平、垂直、对角等方向性模式，类似传统视觉算子中的方向边缘检测器。 第三，通道存在频率选择性：低通和高通通道共存，浅层更偏高频，深层更均衡。这表明 WBMM 既有较强表达能力，也保留了卷积式空间归纳偏置。

10. 价值与局限

WBMM 的价值在于，它没有依赖专用 CUDA kernel，而是把问题转化为硬件普遍优化良好的 batched matrix multiplication。因此它能在 GPU、CPU、边缘设备上都获得稳定收益，且兼容 FP16、INT8 等部署需求。 但 WBMM 也不是对所有场景都无条件更优。小 batch、小特征图、极低分辨率情况下，窗口划分和矩阵构造开销可能抵消收益；非重叠窗口还需要额外跨窗口通信；不同任务的 stage-wise block pattern 需要经验设计。论文通过 inter-block 3×3、缓存和层级重参数化缓解这些问题，但工程落地仍需结合具体网络和任务调参。 总体而言，WBMM 提供了一种很干净的思路：大感受野不一定要靠越来越大的散乱卷积核，也不一定要转向输入相关的注意力机制；如果把空间邻域组织成连续窗口并用矩阵乘法处理，就能在保留CNN归纳偏置的同时显著改善硬件效率。

11. 总结

WBMM 是一篇非常工程导向但洞察清晰的 ICML 2026 Spotlight 论文。它抓住了大核深度卷积的真正瓶颈：不是 FLOPs 表面数字，而是不规则 gather 造成的访存低效。通过窗口化、相对位置表、批量矩阵乘法和推理缓存，WBMM 将大感受野空间建模转换成规则、高吞吐的矩阵运算。 实验上，WBMM 在算子级 benchmark 中证明了“更大窗口反而更高效”的反直觉特性；在 ImageNet、ADE20K、COCO 上证明了速度与精度可以兼得；在可解释性分析中也显示其学习到局部性、方向性和频率选择性。对于希望在CNN中保留大感受野、又不愿承担大核卷积访存代价的视觉模型设计者，WBMM 是一个很值得关注的方向。