Chest X-ray report generation aims to reduce radiologists' workload by automatically producing high-quality preliminary reports. A critical yet underexplored aspect of this task is the effective use of patient-specific prior knowledge -- including clinical context (e.g., symptoms, medical history) and the most recent prior image -- which radiologists routinely rely on for diagnostic reasoning. Most existing methods generate reports from single images, neglecting this essential prior information and thus failing to capture diagnostic intent or disease progression. To bridge this gap, we propose PriorRG, a novel chest X-ray report generation framework that emulates real-world clinical workflows via a two-stage training pipeline. In Stage 1, we introduce a prior-guided contrastive pre-training scheme that leverages clinical context to guide spatiotemporal feature extraction, allowing the model to align more closely with the intrinsic spatiotemporal semantics in radiology reports. In Stage 2, we present a prior-aware coarse-to-fine decoding for report generation that progressively integrates patient-specific prior knowledge with the vision encoder's hidden states. This decoding allows the model to align with diagnostic focus and track disease progression, thereby enhancing the clinical accuracy and fluency of the generated reports. Extensive experiments on MIMIC-CXR and MIMIC-ABN datasets demonstrate that PriorRG outperforms state-of-the-art methods, achieving a 3.6% BLEU-4 and 3.8% F1 score improvement on MIMIC-CXR, and a 5.9% BLEU-1 gain on MIMIC-ABN. Code and checkpoints will be released upon acceptance.


翻译:胸部X光报告生成旨在通过自动生成高质量的初步报告来减轻放射科医生的工作负担。该任务中一个关键但尚未充分探索的方面是有效利用患者特定的先验知识——包括临床背景(例如症状、病史)以及最近的既往影像——这些是放射科医生进行诊断推理时常规依赖的信息。大多数现有方法仅从单张图像生成报告,忽略了这一关键先验信息,因此无法捕捉诊断意图或疾病进展。为弥补这一不足,我们提出了PriorRG,一种新颖的胸部X光报告生成框架,它通过两阶段训练流程模拟真实世界的临床工作流。在第一阶段,我们引入了一种先验引导的对比预训练方案,利用临床背景指导时空特征提取,使模型能够更紧密地对齐放射学报告中固有的时空语义。在第二阶段,我们提出了一种先验感知的从粗到精解码机制用于报告生成,该机制逐步将患者特定的先验知识与视觉编码器的隐藏状态进行整合。这种解码方式使模型能够与诊断重点对齐并追踪疾病进展,从而提升生成报告的临床准确性与流畅度。在MIMIC-CXR和MIMIC-ABN数据集上的大量实验表明,PriorRG优于现有最先进方法,在MIMIC-CXR上实现了BLEU-4提升3.6%和F1分数提升3.8%,在MIMIC-ABN上实现了BLEU-1提升5.9%。代码与模型检查点将在论文录用后发布。

0
下载
关闭预览

相关内容

ICLR'21 | GNN联邦学习的新基准
图与推荐
12+阅读 · 2021年11月15日
图机器学习 2.2-2.4 Properties of Networks, Random Graph
图与推荐
10+阅读 · 2020年3月28日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
VIP会员
相关基金
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员