We propose a novel approach to translate unpaired contrast computed tomography (CT) scans to non-contrast CT scans and the other way around. Solving this task has two important applications: (i) to automatically generate contrast CT scans for patients for whom injecting contrast substance is not an option, and (ii) to enhance alignment between contrast and non-contrast CT by reducing the differences induced by the contrast substance before registration. Our approach is based on cycle-consistent generative adversarial convolutional transformers, for short, CyTran. Our neural model can be trained on unpaired images, due to the integration of a cycle-consistency loss. To deal with high-resolution images, we design a hybrid architecture based on convolutional and multi-head attention layers. In addition, we introduce a novel data set, Coltea-Lung-CT-100W, containing 3D triphasic lung CT scans (with a total of 37,290 images) collected from 100 female patients. Each scan contains three phases (non-contrast, early portal venous, and late arterial), allowing us to perform experiments to compare our novel approach with state-of-the-art methods for image style transfer. Our empirical results show that CyTran outperforms all competing methods. Moreover, we show that CyTran can be employed as a preliminary step to improve a state-of-the-art medical image alignment method. We release our novel model and data set as open source at: https://github.com/ristea/cycle-transformer.


翻译:我们提出一种新颖的方法,将未受光化对比计算断层成色仪(CT)扫描转换为非受光化的CT扫描和反向扫描。 解决这一任务有两个重要应用:(一) 自动为那些注射反光物质不是一种选择的病人生成对比CT扫描, (二) 通过减少登记前对比物质引起的差异,加强对比与非矛盾CT之间的匹配。 我们的方法基于循环一致的基因式对立对立变压变异器,用于短期的CyTran。 由于循环一致性损失的整合,我们的神经模型可以在未受光化的图像上接受培训。 为了处理高分辨率图像,我们设计了一个基于进化和多头关注层的混合结构。 此外,我们引入了一个新型数据集,Coltea-Lung-CT-100W, 包含从100名女性患者收集的3D型三重线式肺动样样样样样的肺动变异变图(共37,290张图像 ) 。 每部扫描都包含三个阶段(非受光谱、 早期的门户网站), 将我们使用的C- 循环循环、 和最新版本的图像转换, 将我们的数据转换到最新的图像显示我们的数据转换方法。

0
下载
关闭预览

相关内容

【Tutorial】计算机视觉中的Transformer,98页ppt
专知会员服务
157+阅读 · 2021年10月25日
专知会员服务
90+阅读 · 2021年6月29日
专知会员服务
47+阅读 · 2021年6月1日
【CVPR2021】GAN人脸预训练模型
专知会员服务
24+阅读 · 2021年4月10日
【Google】平滑对抗训练,Smooth Adversarial Training
专知会员服务
49+阅读 · 2020年7月4日
【Google】无监督机器翻译,Unsupervised Machine Translation
专知会员服务
36+阅读 · 2020年3月3日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
61+阅读 · 2019年10月17日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
2018机器学习开源资源盘点
专知
6+阅读 · 2019年2月2日
gan生成图像at 1024² 的 代码 论文
CreateAMind
4+阅读 · 2017年10月31日
已删除
将门创投
3+阅读 · 2017年10月12日
Star-Transformer
Arxiv
5+阅读 · 2019年2月28日
Arxiv
8+阅读 · 2018年5月1日
Arxiv
6+阅读 · 2018年2月26日
VIP会员
最新内容
世界模型入门:从序贯决策到通用智能体
专知会员服务
6+阅读 · 10月24日
军事域更好使用人工智能的实用指南
专知会员服务
9+阅读 · 10月22日
《衡量语言模型中的作战规划能力》
专知会员服务
14+阅读 · 10月20日
Maven智能系统:帕兰提尔军事人工智能平台详解
专知会员服务
17+阅读 · 10月20日
《测试自动化框架在敏捷软件开发中的角色》
专知会员服务
9+阅读 · 10月20日
俄罗斯如何拦截乌克兰无人机与巡航导弹
专知会员服务
13+阅读 · 10月15日
《武器-目标分配问题:精确与近似求解算法》
专知会员服务
19+阅读 · 10月15日
相关VIP内容
【Tutorial】计算机视觉中的Transformer,98页ppt
专知会员服务
157+阅读 · 2021年10月25日
专知会员服务
90+阅读 · 2021年6月29日
专知会员服务
47+阅读 · 2021年6月1日
【CVPR2021】GAN人脸预训练模型
专知会员服务
24+阅读 · 2021年4月10日
【Google】平滑对抗训练,Smooth Adversarial Training
专知会员服务
49+阅读 · 2020年7月4日
【Google】无监督机器翻译,Unsupervised Machine Translation
专知会员服务
36+阅读 · 2020年3月3日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
61+阅读 · 2019年10月17日
Top
微信扫码咨询专知VIP会员