The synthesis of computed tomography (CT) from magnetic resonance imaging (MRI) and cone-beam CT (CBCT) plays a critical role in clinical treatment planning by enabling accurate anatomical representation in adaptive radiotherapy. In this work, we propose GANeXt, a 3D patch-based, fully ConvNeXt-powered generative adversarial network for unified CT synthesis across different modalities and anatomical regions. Specifically, GANeXt employs an efficient U-shaped generator constructed from stacked 3D ConvNeXt blocks with compact convolution kernels, while the discriminator adopts a conditional PatchGAN. To improve synthesis quality, we incorporate a combination of loss functions, including mean absolute error (MAE), perceptual loss, segmentation-based masked MAE, and adversarial loss and a combination of Dice loss and cross-entropy for multi-head segmentation discriminator. For both tasks, training is performed with a batch size of 8 using two separate AdamW optimizers for the generator and discriminator, each equipped with a warmup and cosine decay scheduler, with learning rates of $5\times10^{-4}$ and $1\times10^{-3}$, respectively. Data preprocessing includes deformable registration, foreground cropping, percentile normalization for the input modality, and linear normalization of the CT to the range $[-1024, 1000]$. Data augmentation involves random zooming within $(0.8, 1.3)$ (for MRI-to-CT only), fixed-size cropping to $32\times160\times192$ for MRI-to-CT and $32\times128\times128$ for CBCT-to-CT, and random flipping. During inference, we apply a sliding-window approach with $0.8$ overlap and average folding to reconstruct the full-size sCT, followed by inversion of the CT normalization. After joint training on all regions without any fine-tuning, the final models are selected at the end of 3000 epochs for MRI-to-CT and 1000 epochs for CBCT-to-CT using the full training dataset.


翻译:从磁共振成像(MRI)和锥形束CT(CBCT)合成计算机断层扫描(CT)在自适应放射治疗中通过提供精确的解剖结构表征,对临床治疗规划起着关键作用。在本工作中,我们提出了GANeXt,一种基于三维图像块、完全由ConvNeXt驱动的生成对抗网络,用于跨不同模态和解剖区域的统一CT合成。具体而言,GANeXt采用了一个高效的U形生成器,该生成器由堆叠的、具有紧凑卷积核的三维ConvNeXt模块构成,而判别器则采用条件式PatchGAN。为了提高合成质量,我们结合了多种损失函数,包括平均绝对误差(MAE)、感知损失、基于分割的掩码MAE、对抗损失,以及用于多头分割判别器的Dice损失与交叉熵的组合。对于两项任务,训练均以批次大小为8进行,生成器和判别器分别使用两个独立的AdamW优化器,每个优化器都配备了预热和余弦衰减调度器,学习率分别为 $5\times10^{-4}$ 和 $1\times10^{-3}$。数据预处理包括可变形配准、前景裁剪、输入模态的百分位数归一化,以及将CT线性归一化到 $[-1024, 1000]$ 的范围。数据增强涉及在 $(0.8, 1.3)$ 范围内随机缩放(仅用于MRI到CT任务)、固定尺寸裁剪(MRI到CT任务裁剪至 $32\times160\times192$,CBCT到CT任务裁剪至 $32\times128\times128$)以及随机翻转。在推理阶段,我们采用滑动窗口方法,重叠率为 $0.8$,并通过平均折叠来重建全尺寸合成CT,随后进行CT归一化的逆变换。在对所有区域进行联合训练且未进行任何微调后,最终模型在完整训练数据集上分别于第3000个周期(MRI到CT)和第1000个周期(CBCT到CT)结束时选定。

0
下载
关闭预览

相关内容

生成对抗网络GAN的发展与最新应用
专知会员服务
127+阅读 · 2020年8月13日
关于GANs在医学图像领域应用的总结
计算机视觉life
13+阅读 · 2019年7月25日
【综述】生成式对抗网络GAN最新进展综述
专知
61+阅读 · 2019年6月5日
最新《生成式对抗网络GAN进展》论文
专知
95+阅读 · 2019年4月5日
万字综述之生成对抗网络(GAN)
PaperWeekly
43+阅读 · 2019年3月19日
【学界】GANs最新综述论文: 生成式对抗网络及其变种如何有用
GAN生成式对抗网络
30+阅读 · 2019年1月5日
【GAN】生成式对抗网络GAN的研究进展与展望
产业智能官
12+阅读 · 2017年8月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关VIP内容
生成对抗网络GAN的发展与最新应用
专知会员服务
127+阅读 · 2020年8月13日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员