Accurate detection and segmentation of cancerous lesions from computed tomography (CT) scans is essential for automated treatment planning and cancer treatment response assessment. Transformer-based models with self-supervised pretraining can produce reliably accurate segmentation from in-distribution (ID) data but degrade when applied to out-of-distribution (OOD) datasets. We address this challenge with RF-Deep, a random forest classifier that utilizes deep features from a pretrained transformer encoder of the segmentation model to detect OOD scans and enhance segmentation reliability. The segmentation model comprises a Swin Transformer encoder, pretrained with masked image modeling (SimMIM) on 10,432 unlabeled 3D CT scans covering cancerous and non-cancerous conditions, with a convolution decoder, trained to segment lung cancers in 317 3D scans. Independent testing was performed on 603 3D CT public datasets that included one ID dataset and four OOD datasets comprising chest CTs with pulmonary embolism (PE) and COVID-19, and abdominal CTs with kidney cancers and healthy volunteers. RF-Deep detected OOD cases with a FPR95 of 18.26%, 27.66%, and less than 0.1% on PE, COVID-19, and abdominal CTs, consistently outperforming established OOD approaches. The RF-Deep classifier provides a simple and effective approach to enhance reliability of cancer segmentation in ID and OOD scenarios.


翻译:从计算机断层扫描(CT)中准确检测和分割癌性病变对于自动化治疗规划和癌症治疗反应评估至关重要。基于Transformer的自监督预训练模型能够在分布内(ID)数据上产生可靠准确的分割结果,但在应用于分布外(OOD)数据集时性能会下降。我们通过RF-Deep来解决这一挑战,这是一种随机森林分类器,它利用分割模型的预训练Transformer编码器提取的深度特征来检测OOD扫描,从而增强分割的可靠性。该分割模型包含一个Swin Transformer编码器(使用掩码图像建模方法SimMIM在10,432个涵盖癌性与非癌性状况的未标记3D CT扫描上进行预训练)和一个卷积解码器,训练用于在317个3D扫描中分割肺癌。我们在603个3D CT公共数据集上进行了独立测试,这些数据集包括一个ID数据集和四个OOD数据集(包含患有肺栓塞和COVID-19的胸部CT,以及患有肾癌和健康志愿者的腹部CT)。RF-Deep在肺栓塞、COVID-19和腹部CT上检测OOD病例的FPR95分别为18.26%、27.66%和低于0.1%,其性能持续优于现有的OOD检测方法。RF-Deep分类器为增强ID和OOD场景下癌症分割的可靠性提供了一种简单而有效的途径。

0
下载
关闭预览

相关内容

视觉Transformer预训练模型的胸腔X线影像多标签分类
专知会员服务
14+阅读 · 2022年7月29日
专知会员服务
28+阅读 · 2021年10月6日
专知会员服务
37+阅读 · 2021年4月23日
【NeurIPS2020】基于能量的分布外检测
专知会员服务
14+阅读 · 2020年10月10日
【资源】图像分割/显著性检测数据集列表
专知
13+阅读 · 2019年5月22日
用手机检测皮肤癌
专知
12+阅读 · 2019年5月11日
肿瘤微环境评分: 预测肿瘤免疫治疗疗效的新方法
使用随机森林分类器预测森林火灾规模
论智
13+阅读 · 2018年5月15日
基于深度学习的肿瘤图像分割研究取得进展
中科院之声
17+阅读 · 2017年9月17日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
VIP会员
Top
微信扫码咨询专知VIP会员