The limited sample size and insufficient diversity of lung nodule CT datasets severely restrict the performance and generalization ability of detection models. Existing methods generate images with insufficient diversity and controllability, suffering from issues such as monotonous texture features and distorted anatomical structures. Therefore, we propose a two-stage generative adversarial network (TSGAN) to enhance the diversity and spatial controllability of synthetic data by decoupling the morphological structure and texture features of lung nodules. In the first stage, StyleGAN is used to generate semantic segmentation mask images, encoding lung nodules and tissue backgrounds to control the anatomical structure of lung nodule images; The second stage uses the DL-Pix2Pix model to translate the mask map into CT images, employing local importance attention to capture local features, while utilizing dynamic weight multi-head window attention to enhance the modeling capability of lung nodule texture and background. Compared to the original dataset, the accuracy improved by 4.6% and mAP by 4% on the LUNA16 dataset. Experimental results demonstrate that TSGAN can enhance the quality of synthetic images and the performance of detection models.


翻译:肺结节CT数据集的有限样本量和不足的多样性严重制约了检测模型的性能与泛化能力。现有方法生成的图像在多样性和可控性方面存在不足,常出现纹理特征单调和解剖结构扭曲等问题。为此,我们提出一种两阶段生成对抗网络(TSGAN),通过解耦肺结节的形态结构与纹理特征来增强合成数据的多样性和空间可控性。第一阶段使用StyleGAN生成语义分割掩码图像,编码肺结节与组织背景以控制肺结节图像的解剖结构;第二阶段采用DL-Pix2Pix模型将掩码图转换为CT图像,通过局部重要性注意力捕捉局部特征,同时利用动态权重多头窗口注意力增强肺结节纹理与背景的建模能力。在LUNA16数据集上,相较于原始数据集,准确率提升了4.6%,mAP提高了4%。实验结果表明,TSGAN能够有效提升合成图像质量及检测模型性能。

0
下载
关闭预览

相关内容

基于UNet的医学图像分割综述
专知会员服务
38+阅读 · 2023年8月8日
专知会员服务
28+阅读 · 2021年10月6日
专知会员服务
41+阅读 · 2021年7月24日
专知会员服务
37+阅读 · 2021年4月23日
专知会员服务
96+阅读 · 2021年2月6日
CFGAN:基于生成对抗网络的协同过滤框架
“推荐系统”加上“图神经网络”
机器学习与推荐算法
12+阅读 · 2020年3月23日
【学界】基于条件深度卷积生成对抗网络的图像识别方法
GAN生成式对抗网络
16+阅读 · 2018年7月26日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关VIP内容
基于UNet的医学图像分割综述
专知会员服务
38+阅读 · 2023年8月8日
专知会员服务
28+阅读 · 2021年10月6日
专知会员服务
41+阅读 · 2021年7月24日
专知会员服务
37+阅读 · 2021年4月23日
专知会员服务
96+阅读 · 2021年2月6日
相关资讯
CFGAN:基于生成对抗网络的协同过滤框架
“推荐系统”加上“图神经网络”
机器学习与推荐算法
12+阅读 · 2020年3月23日
【学界】基于条件深度卷积生成对抗网络的图像识别方法
GAN生成式对抗网络
16+阅读 · 2018年7月26日
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员