Medical phrase grounding (MPG) maps textual descriptions of radiological findings to corresponding image regions. These grounded reports are easier to interpret, especially for non-experts. Existing MPG systems mostly follow the referring expression comprehension (REC) paradigm and return exactly one bounding box per phrase. Real reports often violate this assumption. They contain multi-region findings, non-diagnostic text, and non-groundable phrases, such as negations or descriptions of normal anatomy. Motivated by this, we reformulate the task as generalised medical phrase grounding (GMPG), where each sentence is mapped to zero, one, or multiple scored regions. To realise this formulation, we introduce the first GMPG model: MedGrounder. We adopted a two-stage training regime: pre-training on report sentence--anatomy box alignment datasets and fine-tuning on report sentence--human annotated box datasets. Experiments on PadChest-GR and MS-CXR show that MedGrounder achieves strong zero-shot transfer and outperforms REC-style and grounded report generation baselines on multi-region and non-groundable phrases, while using far fewer human box annotations. Finally, we show that MedGrounder can be composed with existing report generators to produce grounded reports without retraining the generator.


翻译:医学短语定位(MPG)将放射学发现的文本描述映射到相应的图像区域。这种定位后的报告更易于解读,尤其对非专家而言。现有的MPG系统大多遵循指代表达理解(REC)范式,每个短语仅返回一个边界框。实际报告常违反此假设,它们包含多区域发现、非诊断性文本以及不可定位的短语(如否定表述或正常解剖结构描述)。受此启发,我们将任务重新定义为广义医学短语定位(GMPG),其中每个句子被映射到零个、一个或多个带评分的区域。为实现此框架,我们提出了首个GMPG模型:MedGrounder。我们采用两阶段训练策略:先在报告句子-解剖框对齐数据集上进行预训练,再在报告句子-人工标注框数据集上进行微调。在PadChest-GR和MS-CXR上的实验表明,MedGrounder实现了强大的零样本迁移能力,并在多区域和不可定位短语上优于REC风格及基于定位报告生成的基线方法,同时使用的人工标注框数量显著减少。最后,我们证明MedGrounder可与现有报告生成器结合,无需重新训练生成器即可产生定位报告。

0
下载
关闭预览

相关内容

多维度对特定行业主题进行系统性分析、概括与总结。
【ACMMM2025】通过因果推理提升时间句子定位性能
专知会员服务
12+阅读 · 2025年7月9日
【AAAI2021】知识增强的视觉-语言预训练技术 ERNIE-ViL
专知会员服务
26+阅读 · 2021年1月29日
专知会员服务
14+阅读 · 2021年1月18日
【ICML2021】因果匹配领域泛化
专知
12+阅读 · 2021年8月12日
【NeurIPS2019】图变换网络:Graph Transformer Network
国家自然科学基金
18+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
Arxiv
0+阅读 · 2025年12月30日
VIP会员
相关基金
国家自然科学基金
18+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员