Retrieving wrist radiographs with analogous fracture patterns is challenging because clinically important cues are subtle, highly localized and often obscured by overlapping anatomy or variable imaging views. Progress is further limited by the scarcity of large, well-annotated datasets for case-based medical image retrieval. We introduce WristMIR, a region-aware pediatric wrist radiograph retrieval framework that leverages dense radiology reports and bone-specific localization to learn fine-grained, clinically meaningful image representations without any manual image-level annotations. Using MedGemma-based structured report mining to generate both global and region-level captions, together with pre-processed wrist images and bone-specific crops of the distal radius, distal ulna, and ulnar styloid, WristMIR jointly trains global and local contrastive encoders and performs a two-stage retrieval process: (1) coarse global matching to identify candidate exams, followed by (2) region-conditioned reranking aligned to a predefined anatomical bone region. WristMIR improves retrieval performance over strong vision-language baselines, raising image-to-text Recall@5 from 0.82% to 9.35%. Its embeddings also yield stronger fracture classification (AUROC 0.949, AUPRC 0.953). In region-aware evaluation, the two-stage design markedly improves retrieval-based fracture diagnosis, increasing mean $F_1$ from 0.568 to 0.753, and radiologists rate its retrieved cases as more clinically relevant, with mean scores rising from 3.36 to 4.35. These findings highlight the potential of anatomically guided retrieval to enhance diagnostic reasoning and support clinical decision-making in pediatric musculoskeletal imaging. The source code is publicly available at https://github.com/quin-med-harvard-edu/WristMIR.


翻译:检索具有相似骨折模式的腕部X光片具有挑战性,因为临床上重要的线索往往细微、高度局部化,且常被重叠的解剖结构或变化的成像视角所掩盖。基于案例的医学图像检索领域的发展,还受到缺乏大规模、标注良好的数据集的限制。我们提出了WristMIR,一种区域感知的儿童腕部X光片检索框架,它利用密集的放射学报告和骨骼特异性定位,在没有任何手动图像级标注的情况下,学习细粒度且具有临床意义的图像表示。通过基于MedGemma的结构化报告挖掘来生成全局和区域级描述,结合预处理后的腕部图像以及桡骨远端、尺骨远端和尺骨茎突的骨骼特异性裁剪图,WristMIR联合训练全局和局部对比编码器,并执行两阶段检索流程:(1) 粗粒度全局匹配以识别候选检查,随后进行(2) 与预定义解剖骨骼区域对齐的区域条件重排序。WristMIR在强大的视觉-语言基线模型基础上提升了检索性能,将图像到文本的Recall@5从0.82%提高到9.35%。其嵌入表示也实现了更强的骨折分类能力(AUROC 0.949,AUPRC 0.953)。在区域感知评估中,两阶段设计显著改善了基于检索的骨折诊断,将平均$F_1$分数从0.568提升至0.753,并且放射科医生评价其检索的病例具有更高的临床相关性,平均评分从3.36上升至4.35。这些发现凸显了解剖学引导的检索在增强儿科肌肉骨骼影像诊断推理和支持临床决策方面的潜力。源代码已在 https://github.com/quin-med-harvard-edu/WristMIR 公开。

0
下载
关闭预览

相关内容

【HKUST博士论文】从查询到提示:走向开放世界感知
专知会员服务
21+阅读 · 2025年1月17日
【NeurIPS 2020】对比学习全局和局部医学图像分割特征
专知会员服务
44+阅读 · 2020年10月20日
【紫冬声音】基于人体骨架的行为识别
中国自动化学会
17+阅读 · 2019年1月30日
【紫冬分享】基于人体骨架的行为识别
中国科学院自动化研究所
20+阅读 · 2019年1月18日
基于人体骨架的行为识别【附PPT与视频资料】
人工智能前沿讲习班
31+阅读 · 2019年1月15日
基于图片内容的深度学习图片检索(一)
七月在线实验室
20+阅读 · 2017年10月1日
国家自然科学基金
23+阅读 · 2016年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
VIP会员
相关VIP内容
【HKUST博士论文】从查询到提示:走向开放世界感知
专知会员服务
21+阅读 · 2025年1月17日
【NeurIPS 2020】对比学习全局和局部医学图像分割特征
专知会员服务
44+阅读 · 2020年10月20日
相关基金
国家自然科学基金
23+阅读 · 2016年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员