There is an urgent need for triage and classification of high-volume medical imaging modalities such as computed tomography (CT), which can improve patient care and mitigate radiologist burnout. Study-level CT triage requires calibrated predictions with localized evidence; however, off-the-shelf Vision Language Models (VLM) struggle with 3D anatomy, protocol shifts, and noisy report supervision. This study used the two largest publicly available chest CT datasets: CT-RATE and RADCHEST-CT (held-out external test set). Our carefully tuned supervised baseline (instantiated as a simple Global Average Pooling head) establishes a new supervised state of the art, surpassing all reported linear-probe VLMs. Building on this baseline, we present ORACLE-CT, an encoder-agnostic, organ-aware head that pairs Organ-Masked Attention (mask-restricted, per-organ pooling that yields spatial evidence) with Organ-Scalar Fusion (lightweight fusion of normalized volume and mean-HU cues). In the chest setting, ORACLE-CT masked attention model achieves AUROC 0.86 on CT-RATE; in the abdomen setting, on MERLIN (30 findings), our supervised baseline exceeds a reproduced zero-shot VLM baseline obtained by running publicly released weights through our pipeline, and adding masked attention plus scalar fusion further improves performance to AUROC 0.85. Together, these results deliver state-of-the-art supervised classification performance across both chest and abdomen CT under a unified evaluation protocol. The source code is available at https://github.com/lavsendahal/oracle-ct.


翻译:针对计算机断层扫描(CT)等高通量医学影像模态,亟需建立有效的分诊与分类方法,以改善患者诊疗并缓解放射科医师的职业倦怠。研究层面的CT分诊需要具备局部证据支持的校准预测;然而,现成的视觉语言模型在处理三维解剖结构、协议偏移及噪声报告监督方面存在局限。本研究采用两个最大的公开胸部CT数据集:CT-RATE与RADCHEST-CT(作为预留的外部测试集)。我们精心调优的监督基线模型(实现为简单的全局平均池化头)创造了新的监督学习最优性能,超越了所有已报道的线性探测视觉语言模型。基于此基线,我们提出ORACLE-CT——一种编码器无关的器官感知头部模块,其将器官掩码注意力(通过掩码限制的逐器官池化生成空间证据)与器官标量融合(归一化体积与平均亨氏单位线索的轻量级融合)相结合。在胸部CT场景中,ORACLE-CT掩码注意力模型在CT-RATE数据集上达到AUROC 0.86;在腹部CT场景中,基于MERLIN数据集(含30种病理发现),我们的监督基线超越了通过公开权重复现的零样本视觉语言模型基线,而加入掩码注意力与标量融合后性能进一步提升至AUROC 0.85。这些结果共同表明,在统一的评估协议下,本方法在胸部与腹部CT分类任务中均实现了最先进的监督分类性能。源代码发布于https://github.com/lavsendahal/oracle-ct。

0
下载
关闭预览

相关内容

Transformer 驱动的图像分类研究进展综述
专知会员服务
55+阅读 · 2023年2月24日
视觉Transformer预训练模型的胸腔X线影像多标签分类
专知会员服务
14+阅读 · 2022年7月29日
专知会员服务
28+阅读 · 2021年10月6日
专知会员服务
50+阅读 · 2021年8月28日
专知会员服务
37+阅读 · 2021年4月23日
专知会员服务
116+阅读 · 2021年1月11日
最全综述 | 医学图像处理
计算机视觉life
57+阅读 · 2019年6月15日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
VIP会员
相关VIP内容
Transformer 驱动的图像分类研究进展综述
专知会员服务
55+阅读 · 2023年2月24日
视觉Transformer预训练模型的胸腔X线影像多标签分类
专知会员服务
14+阅读 · 2022年7月29日
专知会员服务
28+阅读 · 2021年10月6日
专知会员服务
50+阅读 · 2021年8月28日
专知会员服务
37+阅读 · 2021年4月23日
专知会员服务
116+阅读 · 2021年1月11日
相关资讯
最全综述 | 医学图像处理
计算机视觉life
57+阅读 · 2019年6月15日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员