Conditional medical image generation plays an important role in many clinically relevant imaging tasks. However, existing methods still face a fundamental challenge in balancing inference efficiency, patient-specific fidelity, and distribution-level plausibility, particularly in high-dimensional 3D medical imaging. In this work, we propose GDM, a generative drifting framework that reformulates deterministic medical image prediction as a multi-objective learning problem to jointly promote distribution-level plausibility and patient-specific fidelity while retaining one-step inference. GDM extends drifting to 3D medical imaging through an attractive-repulsive drift that minimizes the discrepancy between the generator pushforward and the target distribution. To enable stable drifting-based learning in 3D volumetric data, GDM constructs a multi-level feature bank from a medical foundation encoder to support reliable affinity estimation and drifting field computation across complementary global, local, and spatial representations. In addition, a gradient coordination strategy in the shared output space improves optimization balance under competing distribution-level and fidelity-oriented objectives. We evaluate the proposed framework on two representative tasks, MRI-to-CT synthesis and sparse-view CT reconstruction. Experimental results show that GDM consistently outperforms a wide range of baselines, including GAN-based, flow-matching-based, and SDE-based generative models, as well as supervised regression methods, while improving the balance among anatomical fidelity, quantitative reliability, perceptual realism, and inference efficiency. These findings suggest that GDM provides a practical and effective framework for conditional 3D medical image generation.


翻译:条件性医学图像生成在许多临床相关成像任务中扮演着重要角色。然而,现有方法仍面临一个根本性挑战:如何在推理效率、患者特异性保真度和分布层面合理性之间取得平衡,尤其是在高维度三维医学成像领域。本文提出了一种生成性漂移框架GDM,它将确定性医学图像预测重新定义为多目标学习问题,在保持单步推理的同时协同提升分布层面合理性和患者特异性保真度。GDM通过吸引-排斥漂移机制将漂移扩展至三维医学成像,最小化生成器前向分布与目标分布之间的差异。为实现在三维体数据上的稳定漂移学习,GDM从医学基础编码器构建多级特征库,支持跨互补的全局、局部和空间表征的可靠亲和性估计与漂移场计算。此外,共享输出空间中的梯度协调策略改善了分布层面与保真度导向目标间竞争下的优化平衡。我们在两个代表性任务(MRI到CT合成及稀疏视图CT重建)上评估了所提框架。实验结果表明,GDM在解剖保真度、定量可靠性、感知真实性与推理效率间的平衡上,持续优于包括基于GAN、基于流匹配、基于SDE的生成模型以及有监督回归方法在内的广泛基线。这些发现表明GDM为条件性三维医学图像生成提供了实用有效的框架。

0
下载
关闭预览

相关内容

医学影像是指为了医疗或医学研究,对人体或人体某部分,以非侵入方式取得内部组织影像的技术与处理过程。它包含以下两个相对独立的研究方向:医学成像系统(medical imaging system)和医学图像处理(medical image processing)。前者是指图像行成的过程,包括对成像机理、成像设备、成像系统分析等问题的研究;后者是指对已经获得的图像作进一步的处理,其目的是或者是使原来不够清晰的图像复原,或者是为了突出图像中的某些特征信息,或者是对图像做模式分类等等。
《基于扩散模型的条件图像生成》综述
专知会员服务
44+阅读 · 2024年10月1日
【NTU博士论文】基于深度学习的图像与视频生成,146页pdf
迁移学习方法在医学图像领域的应用综述
专知会员服务
61+阅读 · 2022年1月6日
【学界】基于条件深度卷积生成对抗网络的图像识别方法
GAN生成式对抗网络
16+阅读 · 2018年7月26日
【学界】 李飞飞学生最新论文:利用场景图生成图像
GAN生成式对抗网络
15+阅读 · 2018年4月9日
国家自然科学基金
23+阅读 · 2016年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
综述 | 3D场景图:开放挑战与未来方向
专知会员服务
6+阅读 · 6月22日
21世纪的无人机战争
专知会员服务
4+阅读 · 6月22日
《量子技术的军事任务技术适配与利用》
专知会员服务
5+阅读 · 6月22日
美国从乌克兰无人机战争中学习经验
专知会员服务
7+阅读 · 6月21日
ICML 2026 | 面向视觉语言模型的语义鲁棒性认证
专知会员服务
5+阅读 · 6月21日
相关VIP内容
《基于扩散模型的条件图像生成》综述
专知会员服务
44+阅读 · 2024年10月1日
【NTU博士论文】基于深度学习的图像与视频生成,146页pdf
迁移学习方法在医学图像领域的应用综述
专知会员服务
61+阅读 · 2022年1月6日
相关资讯
【学界】基于条件深度卷积生成对抗网络的图像识别方法
GAN生成式对抗网络
16+阅读 · 2018年7月26日
【学界】 李飞飞学生最新论文:利用场景图生成图像
GAN生成式对抗网络
15+阅读 · 2018年4月9日
相关基金
国家自然科学基金
23+阅读 · 2016年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员