3D medical imaging is in high demand and essential for clinical diagnosis and scientific research. Currently, diffusion models (DMs) have become an effective tool for medical imaging reconstruction thanks to their ability to learn rich, high-quality data priors. However, learning the 3D data distribution with DMs in medical imaging is challenging, not only due to the difficulties in data collection but also because of the significant computational burden during model training. A common compromise is to train the DMs on 2D data priors and reconstruct stacked 2D slices to address 3D medical inverse problems. However, the intrinsic randomness of diffusion sampling causes severe inter-slice discontinuities of reconstructed 3D volumes. Existing methods often enforce continuity regularizations along the z-axis, which introduces sensitive hyper-parameters and may lead to over-smoothing results. In this work, we revisit the origin of stochasticity in diffusion sampling and introduce Inter-Slice Consistent Stochasticity (ISCS), a simple yet effective strategy that encourages interslice consistency during diffusion sampling. Our key idea is to control the consistency of stochastic noise components during diffusion sampling, thereby aligning their sampling trajectories without adding any new loss terms or optimization steps. Importantly, the proposed ISCS is plug-and-play and can be dropped into any 2D trained diffusion based 3D reconstruction pipeline without additional computational cost. Experiments on several medical imaging problems show that our method can effectively improve the performance of medical 3D imaging problems based on 2D diffusion models. Our findings suggest that controlling inter-slice stochasticity is a principled and practically attractive route toward high-fidelity 3D medical imaging with 2D diffusion priors. The code is available at: https://github.com/duchenhe/ISCS


翻译:三维医学影像在临床诊断与科学研究中具有重要需求与关键作用。当前,扩散模型因其能够学习丰富且高质量的数据先验,已成为医学影像重建的有效工具。然而,在医学影像领域使用扩散模型学习三维数据分布具有挑战性,这不仅源于数据收集的困难,还因为模型训练过程中巨大的计算负担。一种常见的折衷方案是在二维数据先验上训练扩散模型,并通过堆叠二维切片来重建以解决三维医学逆问题。然而,扩散采样固有的随机性会导致重建的三维体数据出现严重的层间不连续。现有方法通常沿z轴施加连续性正则化,这会引入敏感的超参数并可能导致过度平滑的结果。在本工作中,我们重新审视了扩散采样中随机性的来源,并提出了层间一致随机性——一种简单而有效的策略,旨在扩散采样过程中促进层间一致性。我们的核心思想是在扩散采样过程中控制随机噪声分量的一致性,从而对齐其采样轨迹,而无需添加任何新的损失项或优化步骤。重要的是,所提出的ISCS方法即插即用,可以无缝集成到任何基于二维训练扩散模型的三维重建流程中,且不增加额外计算成本。在多个医学影像问题上的实验表明,我们的方法能有效提升基于二维扩散模型的医学三维影像问题的性能。我们的研究结果表明,控制层间随机性是利用二维扩散先验实现高保真三维医学影像的一条原理清晰且具有实际吸引力的途径。代码发布于:https://github.com/duchenhe/ISCS

0
下载
关闭预览

相关内容

医学影像中的高效扩散模型:全面综述
专知会员服务
15+阅读 · 2025年5月26日
面向图像处理逆问题的扩散模型研究综述
专知会员服务
15+阅读 · 2025年4月23日
高效扩散模型:从原理到实践的全面综述
专知会员服务
41+阅读 · 2024年10月16日
三维视觉中的扩散模型:综述
专知会员服务
32+阅读 · 2024年10月9日
扩散模型概述:应用、引导生成、统计率和优化
专知会员服务
47+阅读 · 2024年4月14日
计算机视觉方向简介 | 三维重建技术概述
计算机视觉life
26+阅读 · 2019年6月13日
深度学习与医学图像分析
人工智能前沿讲习班
40+阅读 · 2019年6月8日
基于深度学习的图像超分辨率最新进展与趋势【附PDF】
人工智能前沿讲习班
15+阅读 · 2019年2月27日
国家自然科学基金
23+阅读 · 2016年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
23+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
13+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
23+阅读 · 2016年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
23+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
13+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员