Missing data problems, such as missing modalities in multi-modal brain MRI and missing slices in cardiac MRI, pose significant challenges in clinical practice. Existing methods rely on external guidance to supply detailed missing state for instructing generative models to synthesize missing MRIs. However, manual indicators are not always available or reliable in real-world scenarios due to the unpredictable nature of clinical environments. Moreover, these explicit masks are not informative enough to provide guidance for improving semantic consistency. In this work, we argue that generative models should infer and recognize missing states in a self-perceptive manner, enabling them to better capture subtle anatomical and pathological variations. Towards this goal, we propose CoPeDiT, a general-purpose latent diffusion model equipped with completeness perception for unified synthesis of 3D MRIs. Specifically, we incorporate dedicated pretext tasks into our tokenizer, CoPeVAE, empowering it to learn completeness-aware discriminative prompts, and design MDiT3D, a specialized diffusion transformer architecture for 3D MRI synthesis, that effectively uses the learned prompts as guidance to enhance semantic consistency in 3D space. Comprehensive evaluations on three large-scale MRI datasets demonstrate that CoPeDiT significantly outperforms state-of-the-art methods, achieving superior robustness, generalizability, and flexibility. The code is available at https://github.com/JK-Liu7/CoPeDiT .


翻译:多模态脑部MRI中的模态缺失与心脏MRI中的切片缺失等数据缺失问题在临床实践中构成了重大挑战。现有方法依赖外部引导来提供详细的缺失状态信息,以指导生成模型合成缺失的MRI。然而,由于临床环境的不可预测性,手动指示器在实际场景中并非总是可用或可靠。此外,这些显式掩码的信息量不足以提供改善语义一致性的有效指导。本研究主张生成模型应以自我感知的方式推断和识别缺失状态,从而更好地捕捉细微的解剖结构与病理变异。为实现这一目标,我们提出CoPeDiT——一种配备完整性感知的通用潜扩散模型,用于实现统一的三维MRI合成。具体而言,我们在分词器CoPeVAE中整合了专用预训练任务,使其能够学习具有完整性感知的判别性提示,并设计了专用于三维MRI合成的扩散Transformer架构MDiT3D,该架构能有效利用学习到的提示作为引导,增强三维空间中的语义一致性。在三个大规模MRI数据集上的综合评估表明,CoPeDiT显著优于现有最先进方法,实现了卓越的鲁棒性、泛化性与灵活性。代码已开源:https://github.com/JK-Liu7/CoPeDiT。

0
下载
关闭预览

相关内容

【MIT博士论文】利用深度学习改进医学影像分割,165页pdf
数据受限条件下的多模态处理技术综述
专知
22+阅读 · 2022年7月16日
专家报告|深度学习+图像多模态融合
中国图象图形学报
12+阅读 · 2019年10月23日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
以色列-美国-伊朗战争中的无人机:关键要点
专知会员服务
1+阅读 · 51分钟前
《Palantir任务保障性软件安全标准(MA-S2)》
专知会员服务
4+阅读 · 今天13:49
基于声学的无人机检测技术综述
专知会员服务
3+阅读 · 今天13:37
《当代混合战争分析框架:俄乌战争经验教训》
专知会员服务
4+阅读 · 今天13:11
战略前沿人工智能的再思考(中文)
专知会员服务
7+阅读 · 5月29日
《量化地基防空系统间接效应的博弈论方法》
专知会员服务
5+阅读 · 5月29日
“史诗怒火行动”中美军损失的作战飞机
专知会员服务
6+阅读 · 5月29日
ICML 2026 | 理解上下文持续学习中的泛化与遗忘
专知会员服务
5+阅读 · 5月28日
相关VIP内容
【MIT博士论文】利用深度学习改进医学影像分割,165页pdf
相关基金
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员