Retrieving wrist radiographs with analogous fracture patterns is challenging because clinically important cues are subtle, highly localized and often obscured by overlapping anatomy or variable imaging views. Progress is further limited by the scarcity of large, well-annotated datasets for case-based medical image retrieval. We introduce WristMIR, a region-aware pediatric wrist radiograph retrieval framework that leverages dense radiology reports and bone-specific localization to learn fine-grained, clinically meaningful image representations without any manual image-level annotations. Using MedGemma-based structured report mining to generate both global and region-level captions, together with pre-processed wrist images and bone-specific crops of the distal radius, distal ulna, and ulnar styloid, WristMIR jointly trains global and local contrastive encoders and performs a two-stage retrieval process: (1) coarse global matching to identify candidate exams, followed by (2) region-conditioned reranking aligned to a predefined anatomical bone region. WristMIR improves retrieval performance over strong vision-language baselines, raising image-to-text Recall@5 from 0.82% to 9.35%. Its embeddings also yield stronger fracture classification (AUROC 0.949, AUPRC 0.953). In region-aware evaluation, the two-stage design markedly improves retrieval-based fracture diagnosis, increasing mean $F_1$ from 0.568 to 0.753, and radiologists rate its retrieved cases as more clinically relevant, with mean scores rising from 3.36 to 4.35. These findings highlight the potential of anatomically guided retrieval to enhance diagnostic reasoning and support clinical decision-making in pediatric musculoskeletal imaging. The source code is publicly available at https://github.com/quin-med-harvard-edu/WristMIR.


翻译:检索具有相似骨折模式的腕部X光片具有挑战性,因为临床上重要的线索通常细微、高度局部化,且常被重叠的解剖结构或变化的成像视角所掩盖。基于案例的医学图像检索领域的发展进一步受到大型、标注良好数据集稀缺的限制。我们提出了WristMIR,一种区域感知的儿童腕部X光片检索框架,该框架利用密集的放射学报告和骨骼特异性定位,在无需任何手动图像级标注的情况下,学习细粒度、具有临床意义的图像表征。通过使用基于MedGemma的结构化报告挖掘来生成全局和区域级描述,结合预处理的腕部图像以及桡骨远端、尺骨远端和尺骨茎突的骨骼特异性裁剪区域,WristMIR联合训练全局和局部对比编码器,并执行两阶段检索过程:(1) 粗粒度全局匹配以识别候选检查,随后进行(2) 与预定义解剖骨骼区域对齐的区域条件重排序。WristMIR在强大的视觉-语言基线模型基础上提升了检索性能,将图像到文本的Recall@5从0.82%提高到9.35%。其嵌入表征也产生了更强的骨折分类能力(AUROC 0.949,AUPRC 0.953)。在区域感知评估中,两阶段设计显著改善了基于检索的骨折诊断,将平均$F_1$分数从0.568提升至0.753,并且放射科医生认为其检索的病例具有更高的临床相关性,平均评分从3.36上升至4.35。这些发现凸显了解剖学引导的检索在增强儿科肌肉骨骼影像诊断推理和支持临床决策方面的潜力。源代码已在https://github.com/quin-med-harvard-edu/WristMIR公开。

0
下载
关闭预览

相关内容

【HKUST博士论文】从查询到提示:走向开放世界感知
专知会员服务
21+阅读 · 2025年1月17日
【紫冬声音】基于人体骨架的行为识别
中国自动化学会
17+阅读 · 2019年1月30日
【紫冬分享】基于人体骨架的行为识别
中国科学院自动化研究所
20+阅读 · 2019年1月18日
基于人体骨架的行为识别【附PPT与视频资料】
人工智能前沿讲习班
31+阅读 · 2019年1月15日
基于图片内容的深度学习图片检索(一)
七月在线实验室
20+阅读 · 2017年10月1日
国家自然科学基金
23+阅读 · 2016年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
VIP会员
最新内容
以色列-美国-伊朗战争中的无人机:关键要点
专知会员服务
1+阅读 · 今天14:04
《Palantir任务保障性软件安全标准(MA-S2)》
专知会员服务
5+阅读 · 今天13:49
基于声学的无人机检测技术综述
专知会员服务
4+阅读 · 今天13:37
《当代混合战争分析框架:俄乌战争经验教训》
专知会员服务
4+阅读 · 今天13:11
战略前沿人工智能的再思考(中文)
专知会员服务
7+阅读 · 5月29日
《量化地基防空系统间接效应的博弈论方法》
专知会员服务
5+阅读 · 5月29日
“史诗怒火行动”中美军损失的作战飞机
专知会员服务
6+阅读 · 5月29日
ICML 2026 | 理解上下文持续学习中的泛化与遗忘
专知会员服务
5+阅读 · 5月28日
相关VIP内容
【HKUST博士论文】从查询到提示:走向开放世界感知
专知会员服务
21+阅读 · 2025年1月17日
相关基金
国家自然科学基金
23+阅读 · 2016年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员