Deep neural networks are increasingly applied in automated histopathology. Yet, whole-slide images (WSIs) are often acquired at gigapixel sizes, rendering them computationally infeasible to analyze entirely at high resolution. Diagnostic labels are largely available only at the slide-level, because expert annotation of images at a finer (patch) level is both laborious and expensive. Moreover, regions with diagnostic information typically occupy only a small fraction of the WSI, making it inefficient to examine the entire slide at full resolution. Here, we propose SASHA -- Sequential Attention-based Sampling for Histopathological Analysis -- a deep reinforcement learning approach for efficient analysis of histopathological images. First, SASHA learns informative features with a lightweight hierarchical, attention-based multiple instance learning (MIL) model. Second, SASHA samples intelligently and zooms selectively into a small fraction (10-20\%) of high-resolution patches to achieve reliable diagnoses. We show that SASHA matches state-of-the-art methods that analyze the WSI fully at high resolution, albeit at a fraction of their computational and memory costs. In addition, it significantly outperforms competing, sparse sampling methods. We propose SASHA as an intelligent sampling model for medical imaging challenges that involve automated diagnosis with exceptionally large images containing sparsely informative features. Model implementation is available at: https://github.com/coglabiisc/SASHA.


翻译:深度神经网络在自动化组织病理学中的应用日益广泛。然而,全切片图像通常以十亿像素级尺寸获取,使得在高分辨率下完整分析在计算上不可行。诊断标签大多仅在切片级别可用,因为在更精细(区块)级别对图像进行专家标注既费力又昂贵。此外,具有诊断信息的区域通常仅占全切片图像的极小部分,因此以全分辨率检查整个切片效率低下。本文提出SASHA——一种用于组织病理学图像高效分析的深度强化学习方法。首先,SASHA通过轻量级分层注意力多示例学习模型学习信息特征。其次,SASHA智能采样并选择性地放大至高分辨率区块的小部分(10-20%)以实现可靠诊断。我们证明,SASHA在仅需部分计算和内存成本的情况下,即可达到对全切片图像进行完整高分辨率分析的最新方法性能。此外,其显著优于其他稀疏采样方法。我们提出将SASHA作为医学影像挑战的智能采样模型,适用于包含稀疏信息特征的超大型图像的自动化诊断任务。模型实现发布于:https://github.com/coglabiisc/SASHA。

0
下载
关闭预览

相关内容

标签高效深度学习的医学图像分析:挑战与未来方向
专知会员服务
35+阅读 · 2023年4月3日
医学图像关键点检测深度学习方法研究与挑战
专知会员服务
51+阅读 · 2022年4月10日
专知会员服务
116+阅读 · 2021年1月11日
图神经网络入门(三)GAT图注意力网络
图与推荐
10+阅读 · 2020年5月14日
深度学习与医学图像分析
人工智能前沿讲习班
40+阅读 · 2019年6月8日
基于注意力机制的图卷积网络
科技创新与创业
74+阅读 · 2017年11月8日
深度学习中的注意力机制
CSDN大数据
24+阅读 · 2017年11月2日
国家自然科学基金
23+阅读 · 2016年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关VIP内容
标签高效深度学习的医学图像分析:挑战与未来方向
专知会员服务
35+阅读 · 2023年4月3日
医学图像关键点检测深度学习方法研究与挑战
专知会员服务
51+阅读 · 2022年4月10日
专知会员服务
116+阅读 · 2021年1月11日
相关基金
国家自然科学基金
23+阅读 · 2016年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员