Reliable identification of anatomical body regions is a prerequisite for many automated medical imaging workflows, yet existing solutions remain heavily dependent on unreliable DICOM metadata. Current solutions mainly use supervised learning, which limits their applicability in many real-world scenarios. In this work, we investigate whether body region detection in volumetric CT and MR images can be achieved in a fully zero-shot manner by using knowledge embedded in large pre-trained foundation models. We propose and systematically evaluate three training-free pipelines: (1) a segmentation-driven rule-based system leveraging pre-trained multi-organ segmentation models, (2) a Multimodal Large Language Model (MLLM) guided by radiologist-defined rules, and (3) a segmentation-aware MLLM that combines visual input with explicit anatomical evidence. All methods are evaluated on 887 heterogeneous CT and MR scans with manually verified anatomical region labels. The segmentation-driven rule-based approach achieves the strongest and most consistent performance, with weighted F1-scores of 0.947 (CT) and 0.914 (MR), demonstrating robustness across modalities and atypical scan coverage. The MLLM performs competitively in visually distinctive regions, while the segmentation-aware MLLM reveals fundamental limitations.


翻译:解剖体区域的可靠识别是许多自动化医学影像工作流程的前提条件,然而现有解决方案仍严重依赖不可靠的DICOM元数据。当前方法主要采用监督学习,这限制了其在许多真实场景中的适用性。在本研究中,我们探讨是否可以通过利用大型预训练基础模型中嵌入的知识,以完全零样本的方式实现体部CT与MR影像中的解剖区域检测。我们提出并系统评估了三种免训练流程:(1)利用预训练多器官分割模型的基于分割驱动的规则系统,(2)由放射科医师定义规则指导的多模态大语言模型(MLLM),以及(3)将视觉输入与显式解剖证据相结合的分割感知型MLLM。所有方法均在887例具有人工验证解剖区域标签的异质性CT与MR扫描上进行评估。基于分割驱动的规则方法取得了最优且最稳定的性能,加权F1分数分别达到0.947(CT)和0.914(MR),展现了跨模态与非典型扫描范围的鲁棒性。MLLM在视觉特征显著区域表现出竞争力,而分割感知型MLLM则揭示了其根本性局限。

0
下载
关闭预览

相关内容

磁流变(Magnetorheological,简称MR)材料是一种流变性能可由磁场控制的新型智能材料。由于其响应快(ms量级)、可逆性好(撤去磁场后,又恢复初始状态)、以及通过调节磁场大小来控制材料的力学性能连续变化,因而近年来在汽车、建筑、振动控制等领域得到广泛应用。
《用于军用车辆探测的零样本多模态深度学习模型》
专知会员服务
34+阅读 · 2024年5月9日
【CVPR2023】零样本模型诊断
专知会员服务
32+阅读 · 2023年3月29日
专知会员服务
52+阅读 · 2021年5月15日
专知会员服务
51+阅读 · 2020年12月26日
零样本图像识别综述论文
专知会员服务
58+阅读 · 2020年4月4日
零样本图像识别综述论文
专知
22+阅读 · 2020年4月4日
医疗中的自动机器学习和可解释性
专知
24+阅读 · 2019年4月1日
Zero-Shot Learning相关资源大列表
专知
52+阅读 · 2019年1月1日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关VIP内容
《用于军用车辆探测的零样本多模态深度学习模型》
专知会员服务
34+阅读 · 2024年5月9日
【CVPR2023】零样本模型诊断
专知会员服务
32+阅读 · 2023年3月29日
专知会员服务
52+阅读 · 2021年5月15日
专知会员服务
51+阅读 · 2020年12月26日
零样本图像识别综述论文
专知会员服务
58+阅读 · 2020年4月4日
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员