Automated medical report generation for 3D PET/CT imaging is fundamentally challenged by the high-dimensional nature of volumetric data and a critical scarcity of annotated datasets, particularly for low-resource languages. Current black-box methods map whole volumes to reports, ignoring the clinical workflow of analyzing localized Regions of Interest (RoIs) to derive diagnostic conclusions. In this paper, we bridge this gap by introducing VietPET-RoI, the first large-scale 3D PET/CT dataset with fine-grained RoI annotation for a low-resource language, comprising 600 PET/CT samples and 1,960 manually annotated RoIs, paired with corresponding clinical reports. Furthermore, to demonstrate the utility of this dataset, we propose HiRRA, a novel framework that mimics the professional radiologist diagnostic workflow by employing graph-based relational modules to capture dependencies between RoI attributes. This approach shifts from global pattern matching toward localized clinical findings. Additionally, we introduce new clinical evaluation metrics, namely RoI Coverage and RoI Quality Index, that measure both RoI localization accuracy and attribute description fidelity using LLM-based extraction. Extensive evaluation demonstrates that our framework achieves SOTA performance, surpassing existing models by 19.7% in BLEU and 4.7% in ROUGE-L, while achieving a remarkable 45.8% improvement in clinical metrics, indicating enhanced clinical reliability and reduced hallucination. Our code and dataset are available on GitHub.


翻译:三维PET/CT影像的自动化医学报告生成面临根本性挑战,主要源于体数据的高维特性以及标注数据集(尤其是低资源语言环境)的严重匮乏。现有黑盒方法直接将完整影像映射为报告,忽略了临床工作流程中分析局部感兴趣区域(RoI)以得出诊断结论的实践。本文通过引入VietPET-RoI数据集填补这一空白——这是首个面向低资源语言、包含细粒度RoI标注的大规模三维PET/CT数据集,涵盖600个PET/CT样本与1,960个手工标注的RoI,并配有对应临床报告。为展示该数据集的实用价值,我们提出HiRRA框架,该框架通过采用基于图的关联模块捕捉RoI属性间的依赖关系,模拟专业放射科医师的诊断工作流程。该方法将全局模式匹配转向局部化临床发现。此外,我们引入全新临床评估指标——RoI覆盖率与RoI质量指数,利用基于大语言模型(LLM)的提取技术,同时度量RoI定位精度与属性描述保真度。大量评估表明,本框架实现了最先进性能,在BLEU和ROUGE-L指标上分别超越现有模型19.7%和4.7%,临床指标提升幅度高达45.8%,展现了增强的临床可靠性与显著减少的幻觉现象。我们的代码和数据集已在GitHub上公开。

0
下载
关闭预览

相关内容

数据集,又称为资料集、数据集合或资料集合,是一种由数据所组成的集合。
Data set(或dataset)是一个数据的集合,通常以表格形式出现。每一列代表一个特定变量。每一行都对应于某一成员的数据集的问题。它列出的价值观为每一个变量,如身高和体重的一个物体或价值的随机数。每个数值被称为数据资料。对应于行数,该数据集的数据可能包括一个或多个成员。
【博士论文】结合图像与文本以提升医学图像理解
专知会员服务
30+阅读 · 2025年3月1日
【MIT博士论文】利用深度学习改进医学影像分割,165页pdf
医学图像描述综述:编码、解码及最新进展
专知会员服务
20+阅读 · 2023年7月31日
【CVPR2023】基于动态图增强对比学习的胸部X光报告生成
专知会员服务
21+阅读 · 2023年3月23日
最全综述 | 医学图像处理
计算机视觉life
57+阅读 · 2019年6月15日
国家自然科学基金
23+阅读 · 2016年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
VIP会员
最新内容
从采集到决策:美军视角下的战术情报范式重构
专知会员服务
0+阅读 · 今天2:42
《履带式无人地面战车技术发展现状》
专知会员服务
2+阅读 · 今天1:46
《无人机脆弱性利用:网络空间力量的新域》
专知会员服务
2+阅读 · 8月1日
美空军如何将人工智能从战场部署至后方机关
专知会员服务
11+阅读 · 7月31日
《史诗怒火行动:多域前瞻评估》49页报告
专知会员服务
7+阅读 · 7月31日
《英国防部:未来空战系统数字化战略》33页
专知会员服务
5+阅读 · 7月31日
《面向自主飞行网络的智能体人工智能架构》
专知会员服务
7+阅读 · 7月31日
相关资讯
最全综述 | 医学图像处理
计算机视觉life
57+阅读 · 2019年6月15日
相关基金
国家自然科学基金
23+阅读 · 2016年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员