While Generative Adversarial Nets (GANs) and Diffusion Models (DMs) have achieved impressive results in natural image synthesis, their core strengths - creativity and realism - can be detrimental in medical applications, where accuracy and fidelity are paramount. These models instead risk introducing hallucinations and replication of unwanted acquisition noise. Here, we propose YODA (You Only Denoise once - or Average), a 2.5D diffusion-based framework for medical image translation (MIT). Consistent with DM theory, we find that conventional diffusion sampling stochastically replicates noise. To mitigate this, we draw and average multiple samples, akin to physical signal averaging. As this effectively approximates the DM's expected value, we term this Expectation-Approximation (ExpA) sampling. We additionally propose regression sampling YODA, which retains the initial DM prediction and omits iterative refinement to produce noise-free images in a single step. Across five diverse multi-modal datasets - including multi-contrast brain MRI and pelvic MRI-CT - we demonstrate that regression sampling is not only substantially more efficient but also matches or exceeds image quality of full diffusion sampling even with ExpA. Our results reveal that iterative refinement solely enhances perceptual realism without benefiting information translation, which we confirm in relevant downstream tasks. YODA outperforms eight state-of-the-art DMs and GANs and challenges the presumed superiority of DMs and GANs over computationally cheap regression models for high-quality MIT. Furthermore, we show that YODA-translated images are interchangeable with, or even superior to, physical acquisitions for several medical applications.


翻译:尽管生成对抗网络(GANs)和扩散模型(DMs)在自然图像合成方面取得了令人瞩目的成果,但其核心优势——创造性与真实感——在医学应用中可能适得其反,因为医学领域对准确性和保真度要求极高。这些模型反而可能引入幻觉并复制不期望的采集噪声。本文提出YODA(You Only Denoise once - or Average),一种基于扩散的2.5D医学图像翻译(MIT)框架。与DM理论一致,我们发现传统扩散采样会随机复制噪声。为缓解此问题,我们借鉴物理信号平均的思想,对多个样本进行绘制与平均。由于这有效近似了DM的期望值,我们称之为期望近似(ExpA)采样。此外,我们提出回归采样YODA,该方法保留初始DM预测并省略迭代优化,从而在单步内生成无噪声图像。在五个多样化的多模态数据集(包括多对比度脑部MRI和盆腔MRI-CT)上,我们证明回归采样不仅效率显著更高,其图像质量甚至匹配或超越了采用ExpA的完整扩散采样。我们的结果表明,迭代优化仅能提升感知真实感,而无益于信息翻译,这一结论在相关下游任务中得到了验证。YODA在性能上超越了八种先进的DMs和GANs,并对DMs和GANs相对于计算成本低廉的回归模型在高品质MIT中的预设优越性提出了挑战。此外,我们证明对于多种医学应用,YODA翻译的图像可与物理采集图像互换,甚至表现更优。

0
下载
关闭预览

相关内容

FlowQA: Grasping Flow in History for Conversational Machine Comprehension
专知会员服务
34+阅读 · 2019年10月18日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
163+阅读 · 2019年10月12日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
13+阅读 · 2014年12月31日
Arxiv
12+阅读 · 2019年3月14日
VIP会员
相关资讯
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
13+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员