Pan-cancer screening in large-scale CT scans remains challenging for existing AI methods, primarily due to the difficulty of localizing diverse types of tiny lesions in large CT volumes. The extreme foreground-background imbalance significantly hinders models from focusing on diseased regions, while redundant focus on healthy regions not only decreases the efficiency but also increases false positives. Inspired by radiologists' glance and focus diagnostic strategy, we introduce GF-Screen, a Glance and Focus reinforcement learning framework for pan-cancer screening. GF-Screen employs a Glance model to localize the diseased regions and a Focus model to precisely segment the lesions, where segmentation results of the Focus model are leveraged to reward the Glance model via Reinforcement Learning (RL). Specifically, the Glance model crops a group of sub-volumes from the entire CT volume and learns to select the sub-volumes with lesions for the Focus model to segment. Given that the selecting operation is non-differentiable for segmentation training, we propose to employ the segmentation results to reward the Glance model. To optimize the Glance model, we introduce a novel group relative learning paradigm, which employs group relative comparison to prioritize high-advantage predictions and discard low-advantage predictions within sub-volume groups, not only improving efficiency but also reducing false positives. In this way, for the first time, we effectively extend cutting-edge RL techniques to tackle the specific challenges in pan-cancer screening. Extensive experiments on 16 internal and 7 external datasets across 9 lesion types demonstrated the effectiveness of GF-Screen. Notably, GF-Screen leads the public validation leaderboard of MICCAI FLARE25 pan-cancer challenge, surpassing the FLARE24 champion solution by a large margin (+25.6% DSC and +28.2% NSD).


翻译:大规模CT扫描中的全癌筛查对现有AI方法仍具挑战性,主要难点在于从大体积CT数据中定位多种类型的微小病灶。极端的病灶-背景不平衡严重阻碍模型对病变区域的聚焦,而对健康区域的冗余关注不仅降低效率,还会增加假阳性。受放射科医师“一瞥初筛、聚焦精查”诊断策略的启发,我们提出GF-Screen——一种用于全癌筛查的一瞥与聚焦强化学习框架。该框架采用一瞥模型定位病变区域,聚焦模型精确分割病灶,并利用聚焦模型的分割结果通过强化学习对一瞥模型进行奖励。具体而言,一瞥模型从完整CT体积中裁剪出子体积组,并学习筛选含病灶的子体积供聚焦模型分割。鉴于选择操作对分割训练不可微,我们提出利用分割结果奖励一瞥模型。为优化一瞥模型,我们引入新颖的组间相对学习范式,通过组内相对比较优先选择高优势预测并剔除低优势预测,在提升效率的同时降低假阳性。通过这种方法,我们首次将前沿强化学习技术有效拓展至全癌筛查的特殊挑战中。在涵盖9种病灶类型的16个内部数据集和7个外部数据集上的大量实验验证了GF-Screen的有效性。值得注意的是,GF-Screen在MICCAI FLARE25全癌挑战赛的公开验证排行榜上保持领先,以显著优势超越FLARE24冠军方案(DSC提升25.6%,NSD提升28.2%)。

0
下载
关闭预览

相关内容

Cancer Cell综述|AI用于肿瘤学中的多模态数据集成
专知会员服务
35+阅读 · 2022年10月13日
医学影像数据全生命周期管理平台白皮书
专知会员服务
36+阅读 · 2022年8月18日
深度学习在癌症诊断、预后和治疗选择中的应用
专知会员服务
56+阅读 · 2022年6月18日
专知会员服务
50+阅读 · 2021年8月28日
基于深度学习的医学图像半监督分割
CVer
14+阅读 · 2020年9月24日
肿瘤微环境评分: 预测肿瘤免疫治疗疗效的新方法
基于深度学习的肿瘤图像分割研究取得进展
中科院之声
17+阅读 · 2017年9月17日
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员