Multiple-instance Learning (MIL) is commonly used to undertake computational pathology (CPath) tasks, and the use of multi-scale patches allows diverse features across scales to be learned. Previous studies using multi-scale features in clinical applications rely on multiple inputs across magnifications with late feature fusion, which does not retain the link between features across scales while the inputs are dependent on arbitrary, manufacturer-defined magnifications, being inflexible and computationally expensive. In this paper, we propose the Multi-scale Pyramidal Network (MSPN), which is plug-and-play over attention-based MIL that introduces progressive multi-scale analysis on WSI. Our MSPN consists of (1) grid-based remapping that uses high magnification features to derive coarse features and (2) the coarse guidance network (CGN) that learns coarse contexts. We benchmark MSPN as an add-on module to 4 attention-based frameworks using 4 clinically relevant tasks across 3 types of foundation model, as well as the pre-trained MIL framework. We show that MSPN consistently improves MIL across the compared configurations and tasks, while being lightweight and easy-to-use.


翻译:多示例学习(MIL)通常用于执行计算病理学(CPath)任务,而使用多尺度图像块可以学习跨尺度的多样化特征。先前在临床应用中利用多尺度特征的研究依赖于跨多个放大倍率的多个输入并进行后期特征融合,这种方法未能保留跨尺度特征之间的关联,同时其输入依赖于任意、由制造商定义的放大倍率,既不灵活又计算成本高昂。在本文中,我们提出了多尺度金字塔网络(MSPN),它是一个即插即用的模块,可应用于基于注意力的MIL框架,从而在WSI上引入渐进式多尺度分析。我们的MSPN包含两个部分:(1)基于网格的重映射,它利用高放大倍率特征来推导粗粒度特征;(2)粗粒度引导网络(CGN),用于学习粗粒度上下文信息。我们将MSPN作为一个附加模块,在4个基于注意力的框架上进行了基准测试,涵盖了3种类型的基础模型以及预训练的MIL框架,并应用于4个临床相关任务。结果表明,MSPN在所有对比的配置和任务中都能持续改进MIL的性能,同时保持轻量级和易于使用的特点。

0
下载
关闭预览

相关内容

深度多模态表示学习综述论文,22页pdf
专知
33+阅读 · 2020年6月21日
专家报告|深度学习+图像多模态融合
中国图象图形学报
12+阅读 · 2019年10月23日
Graph Neural Networks 综述
计算机视觉life
30+阅读 · 2019年8月13日
国家自然科学基金
3+阅读 · 2017年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
17+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
VIP会员
相关VIP内容
相关基金
国家自然科学基金
3+阅读 · 2017年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
17+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员