Long-tailed pulmonary anomalies in chest radiography present formidable diagnostic challenges. Despite the recent strides in diffusion-based methods for enhancing the representation of tailed lesions, the paucity of rare lesion exemplars curtails the generative capabilities of these approaches, thereby leaving the diagnostic precision less than optimal. In this paper, we propose a novel data synthesis pipeline designed to augment tail lesions utilizing a copious supply of conventional normal X-rays. Specifically, a sufficient quantity of normal samples is amassed to train a diffusion model capable of generating normal X-ray images. This pre-trained diffusion model is subsequently utilized to inpaint the head lesions present in the diseased X-rays, thereby preserving the tail classes as augmented training data. Additionally, we propose the integration of a Large Language Model Knowledge Guidance (LKG) module alongside a Progressive Incremental Learning (PIL) strategy to stabilize the inpainting fine-tuning process. Comprehensive evaluations conducted on the public lung datasets MIMIC and CheXpert demonstrate that the proposed method sets a new benchmark in performance.


翻译:胸部X射线摄影中的长尾肺部异常诊断面临严峻挑战。尽管近期基于扩散的方法在增强尾部病变表征方面取得进展,但罕见病变样本的匮乏限制了这些方法的生成能力,导致诊断精度未能达到最优。本文提出一种新颖的数据合成流程,旨在利用大量常规正常X射线图像增强尾部病变数据。具体而言,我们收集足量正常样本训练扩散模型以生成正常X射线图像,随后利用该预训练扩散模型对病变X射线中的头部病变区域进行修复,从而将尾部类别保留为增强训练数据。此外,我们提出集成大型语言模型知识引导模块与渐进式增量学习策略,以稳定修复过程的微调优化。在公开肺部数据集MIMIC和CheXpert上的综合评估表明,所提方法创造了性能新标杆。

0
下载
关闭预览

相关内容

视觉Transformer预训练模型的胸腔X线影像多标签分类
专知会员服务
14+阅读 · 2022年7月29日
【NUS】深度长尾学习综述,20页pdf172篇文献
专知会员服务
59+阅读 · 2021年10月14日
国家自然科学基金
4+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关VIP内容
视觉Transformer预训练模型的胸腔X线影像多标签分类
专知会员服务
14+阅读 · 2022年7月29日
【NUS】深度长尾学习综述,20页pdf172篇文献
专知会员服务
59+阅读 · 2021年10月14日
相关资讯
相关基金
国家自然科学基金
4+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员