Diffusion-based image generators are promising priors for ill-posed inverse problems like sparse-view X-ray Computed Tomography (CT). As most studies consider synthetic data, it is not clear whether training data mismatch (``domain shift'') or forward model mismatch complicate their successful application to experimental data. We measured CT data from a physical phantom resembling the synthetic Shepp-Logan phantom and trained diffusion priors on synthetic image data sets with different degrees of domain shift towards it. Then, we employed the priors in a Decomposed Diffusion Sampling scheme on sparse-view CT data sets with increasing difficulty leading to the experimental data. Our results reveal that domain shift plays a nuanced role: while severe mismatch causes model collapse and hallucinations, diverse priors outperform well-matched but narrow priors. Forward model mismatch pulls the image samples away from the prior manifold, which causes artifacts but can be mitigated with annealed likelihood schedules that also increase computational efficiency. Overall, we demonstrate that performance gains do not immediately translate from synthetic to experimental data, and future development must validate against real-world benchmarks.


翻译:基于扩散的图像生成器为稀疏视角X射线计算机断层扫描(CT)等不适定逆问题提供了有前景的先验模型。由于多数研究采用合成数据,目前尚不清楚训练数据不匹配(“域偏移”)或前向模型不匹配是否会阻碍其成功应用于实验数据。我们测量了与合成Shepp-Logan体模相似的物理体模的CT数据,并在具有不同域偏移程度的合成图像数据集上训练了扩散先验模型。随后,我们在稀疏视角CT数据集中采用分解扩散采样方案,通过逐级增加数据难度直至实验数据来验证先验模型。研究结果表明域偏移具有微妙影响:严重不匹配会导致模型崩溃和幻象生成,但多样化的先验模型性能优于匹配度高但覆盖范围窄的先验模型。前向模型不匹配会使图像样本偏离先验流形,从而产生伪影,但可通过退火似然调度策略缓解,该策略同时能提升计算效率。总体而言,我们证明性能提升无法直接从合成数据迁移至实验数据,未来研究必须通过真实场景基准进行验证。

0
下载
关闭预览

相关内容

医学影像中的高效扩散模型:全面综述
专知会员服务
15+阅读 · 2025年5月26日
三维视觉中的扩散模型:综述
专知会员服务
32+阅读 · 2024年10月9日
低层视觉中的扩散模型:综述
专知会员服务
22+阅读 · 2024年6月18日
《扩散模型图像编辑》综述
专知会员服务
28+阅读 · 2024年2月28日
中科大等最新《基于扩散模型的图像恢复和增强》综述
专知会员服务
37+阅读 · 2023年8月22日
视觉的有效扩散模型综述
专知会员服务
97+阅读 · 2022年10月20日
基于关系网络的视觉建模:有望替代卷积神经网络
微软研究院AI头条
10+阅读 · 2019年7月12日
使用CNN生成图像先验实现场景的盲图像去模糊
统计学习与视觉计算组
10+阅读 · 2018年6月14日
一文概览基于深度学习的超分辨率重建架构
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
相关VIP内容
医学影像中的高效扩散模型:全面综述
专知会员服务
15+阅读 · 2025年5月26日
三维视觉中的扩散模型:综述
专知会员服务
32+阅读 · 2024年10月9日
低层视觉中的扩散模型:综述
专知会员服务
22+阅读 · 2024年6月18日
《扩散模型图像编辑》综述
专知会员服务
28+阅读 · 2024年2月28日
中科大等最新《基于扩散模型的图像恢复和增强》综述
专知会员服务
37+阅读 · 2023年8月22日
视觉的有效扩散模型综述
专知会员服务
97+阅读 · 2022年10月20日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员