Chest X-ray report generation aims to reduce radiologists' workload by automatically producing high-quality preliminary reports. A critical yet underexplored aspect of this task is the effective use of patient-specific prior knowledge -- including clinical context (e.g., symptoms, medical history) and the most recent prior image -- which radiologists routinely rely on for diagnostic reasoning. Most existing methods generate reports from single images, neglecting this essential prior information and thus failing to capture diagnostic intent or disease progression. To bridge this gap, we propose PriorRG, a novel chest X-ray report generation framework that emulates real-world clinical workflows via a two-stage training pipeline. In Stage 1, we introduce a prior-guided contrastive pre-training scheme that leverages clinical context to guide spatiotemporal feature extraction, allowing the model to align more closely with the intrinsic spatiotemporal semantics in radiology reports. In Stage 2, we present a prior-aware coarse-to-fine decoding for report generation that progressively integrates patient-specific prior knowledge with the vision encoder's hidden states. This decoding allows the model to align with diagnostic focus and track disease progression, thereby enhancing the clinical accuracy and fluency of the generated reports. Extensive experiments on MIMIC-CXR and MIMIC-ABN datasets demonstrate that PriorRG outperforms state-of-the-art methods, achieving a 3.6% BLEU-4 and 3.8% F1 score improvement on MIMIC-CXR, and a 5.9% BLEU-1 gain on MIMIC-ABN. Code and checkpoints will be released upon acceptance.


翻译:胸部X光报告生成旨在通过自动生成高质量的初步报告来减轻放射科医生的工作负担。该任务中一个关键但尚未充分探索的方面是有效利用患者特定的先验知识——包括临床背景(例如症状、病史)以及最近的既往影像——这些是放射科医生进行诊断推理时常规依赖的信息。大多数现有方法仅从单张图像生成报告,忽略了这一关键先验信息,因此无法捕捉诊断意图或疾病进展。为弥补这一不足,我们提出了PriorRG,一种新颖的胸部X光报告生成框架,它通过两阶段训练流程模拟真实世界的临床工作流。在第一阶段,我们引入了一种先验引导的对比预训练方案,利用临床背景指导时空特征提取,使模型能够更紧密地对齐放射学报告中固有的时空语义。在第二阶段,我们提出了一种先验感知的从粗到精解码机制用于报告生成,该机制逐步将患者特定的先验知识与视觉编码器的隐藏状态进行整合。这种解码方式使模型能够与诊断重点对齐并追踪疾病进展,从而提升生成报告的临床准确性与流畅度。在MIMIC-CXR和MIMIC-ABN数据集上的大量实验表明,PriorRG优于现有最先进方法,在MIMIC-CXR上实现了BLEU-4提升3.6%和F1分数提升3.8%,在MIMIC-ABN上实现了BLEU-1提升5.9%。代码与模型检查点将在论文录用后发布。

0
下载
关闭预览

相关内容

用于三维医学影像理解的综合语言–图像预训练
专知会员服务
7+阅读 · 2025年11月5日
医学图像描述综述:编码、解码及最新进展
专知会员服务
20+阅读 · 2023年7月31日
【CVPR2023】基于动态图增强对比学习的胸部X光报告生成
专知会员服务
21+阅读 · 2023年3月23日
视觉Transformer预训练模型的胸腔X线影像多标签分类
专知会员服务
14+阅读 · 2022年7月29日
最全综述 | 医学图像处理
计算机视觉life
57+阅读 · 2019年6月15日
视频生成的前沿论文,看我们推荐的7篇就够了
人工智能前沿讲习班
34+阅读 · 2018年12月30日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关资讯
最全综述 | 医学图像处理
计算机视觉life
57+阅读 · 2019年6月15日
视频生成的前沿论文,看我们推荐的7篇就够了
人工智能前沿讲习班
34+阅读 · 2018年12月30日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员