Whole slide images (WSIs) are the gold standard for pathological diagnosis and sub-typing. Current main-stream two-step frameworks employ offline feature encoders trained without domain-specific knowledge. Among them, attention-based multiple instance learning (MIL) methods are outcome-oriented and offer limited interpretability. Clustering-based approaches can provide explainable decision-making process but suffer from high dimension features and semantically ambiguous centroids. To this end, we propose an end-to-end MIL framework that integrates Grassmann re-embedding and manifold adaptive clustering, where the manifold geometric structure facilitates robust clustering results. Furthermore, we design a prior knowledge guiding proxy instance labeling and aggregation strategy to approximate patch labels and focus on pathologically relevant tumor regions. Experiments on multicentre WSI datasets demonstrate that: 1) our cluster-incorporated model achieves superior performance in both grading accuracy and interpretability; 2) end-to-end learning refines better feature representations and it requires acceptable computation resources.


翻译:全切片图像(WSI)是病理诊断与亚型分级的金标准。当前主流的两阶段框架采用离线训练的特征编码器,缺乏领域特定知识。其中,基于注意力的多示例学习方法以结果为导向,可解释性有限。基于聚类的方法能提供可解释的决策过程,但面临高维特征和语义模糊质心的问题。为此,我们提出一种端到端多示例学习框架,该框架融合了格拉斯曼重嵌入与流形自适应聚类技术,其流形几何结构有助于获得鲁棒的聚类结果。此外,我们设计了一种先验知识引导的代理实例标记与聚合策略,以逼近切片标签并聚焦于病理相关的肿瘤区域。在多中心WSI数据集上的实验表明:1)本研究所提出的聚类融合模型在分级准确性与可解释性方面均取得优越性能;2)端到端学习能优化特征表示,且所需计算资源在可接受范围内。

0
下载
关闭预览

相关内容

基于UNet的医学图像分割综述
专知会员服务
38+阅读 · 2023年8月8日
【ICML2020】图神经网络谱聚类
专知
10+阅读 · 2020年7月7日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
VIP会员
相关VIP内容
基于UNet的医学图像分割综述
专知会员服务
38+阅读 · 2023年8月8日
相关资讯
【ICML2020】图神经网络谱聚类
专知
10+阅读 · 2020年7月7日
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员