Whole Slide Image (WSI) analysis is pivotal in computational pathology, enabling cancer diagnosis by integrating morphological and architectural cues across magnifications. Multiple Instance Learning (MIL) serves as the standard framework for WSI analysis. Recently, Mamba has become a promising backbone for MIL, overtaking Transformers due to its efficiency and global context modeling capabilities originating from Natural Language Processing (NLP). However, existing Mamba-based MIL approaches face three critical challenges: (1) disruption of 2D spatial locality during 1D sequence flattening; (2) sub-optimal modeling of fine-grained local cellular structures; and (3) high memory peaks during inference on resource-constrained edge devices. Studies like MambaOut reveal that Mamba's SSM component is redundant for local feature extraction, where Gated CNNs suffice. Recognizing that WSI analysis demands both fine-grained local feature extraction akin to natural images, and global context modeling akin to NLP, we propose MambaBack, a novel hybrid architecture that harmonizes the strengths of Mamba and MambaOut. First, we propose the Hilbert sampling strategy to preserve the 2D spatial locality of tiles within 1D sequences, enhancing the model's spatial perception. Second, we design a hierarchical structure comprising a 1D Gated CNN block based on MambaOut to capture local cellular features, and a BiMamba2 block to aggregate global context, jointly enhancing multi-scale representation. Finally, we implement an asymmetric chunking design, allowing parallel processing during training and chunking-streaming accumulation during inference, minimizing peak memory usage for deployment. Experimental results on five datasets demonstrate that MambaBack outperforms seven state-of-the-art methods. Source code and datasets are publicly available.


翻译:整张切片图像(WSI)分析在计算病理学中至关重要,通过整合跨放大倍数的形态学及架构线索实现癌症诊断。多实例学习(MIL)是WSI分析的标准框架。近年来,源于自然语言处理(NLP)领域提出的Mamba凭借其高效性与全局上下文建模能力,已超越Transformer成为MIL的核心骨干网络。然而,现有基于Mamba的MIL方法面临三大关键挑战:(1)将二维空间局部性压缩为一维序列时导致信息丢失;(2)对微观细胞结构的细粒度建模不够优化;(3)在资源受限的边缘设备上推理时存在高内存峰值。MambaOut等研究指出,Mamba的SSM组件对于局部特征提取是冗余的,而门控CNN即可胜任此任务。鉴于WSI分析既需要类似自然图像的细粒度局部特征提取,又需要类似NLP的全局上下文建模,我们提出MambaBack——一种新型混合架构,协同发挥Mamba与MambaOut的优势。首先,我们提出希尔伯特采样策略,在一维序列中保留切片的二维空间局部性,增强模型空间感知能力。其次,设计层级结构:基于MambaOut的一维门控CNN模块捕获局部细胞特征,BiMamba2模块聚合全局上下文,共同增强多尺度表示。最后,实现非对称分块设计,在训练时支持并行处理,推理时采用分块流式累加策略,从而降低部署时的峰值内存占用。在五个数据集上的实验结果表明,MambaBack优于七种最先进方法。源代码与数据集已公开。

0
下载
关闭预览

相关内容

《图Mamba》最新综述,探索图学习中的状态空间模型
专知会员服务
31+阅读 · 2024年12月26日
《视觉中的Mamba:技术与应用》全面综述
专知会员服务
37+阅读 · 2024年10月7日
专家报告|深度学习+图像多模态融合
中国图象图形学报
12+阅读 · 2019年10月23日
最全综述 | 图像分割算法
计算机视觉life
14+阅读 · 2019年6月20日
病理图像的全景分割
人工智能前沿讲习班
16+阅读 · 2019年6月1日
超像素、语义分割、实例分割、全景分割 傻傻分不清?
计算机视觉life
19+阅读 · 2018年11月27日
Image Captioning 36页最新综述, 161篇参考文献
专知
90+阅读 · 2018年10月23日
国家自然科学基金
9+阅读 · 2017年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
7+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
7+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
5+阅读 · 6月17日
相关VIP内容
《图Mamba》最新综述,探索图学习中的状态空间模型
专知会员服务
31+阅读 · 2024年12月26日
《视觉中的Mamba:技术与应用》全面综述
专知会员服务
37+阅读 · 2024年10月7日
相关基金
国家自然科学基金
9+阅读 · 2017年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员