Diffusion models have recently attained significant interest within the community owing to their strong performance as generative models. Furthermore, its application to inverse problems have demonstrated state-of-the-art performance. Unfortunately, diffusion models have a critical downside - they are inherently slow to sample from, needing few thousand steps of iteration to generate images from pure Gaussian noise. In this work, we show that starting from Gaussian noise is unnecessary. Instead, starting from a single forward diffusion with better initialization significantly reduces the number of sampling steps in the reverse conditional diffusion. This phenomenon is formally explained by the contraction theory of the stochastic difference equations like our conditional diffusion strategy - the alternating applications of reverse diffusion followed by a non-expansive data consistency step. The new sampling strategy, dubbed Come-Closer-Diffuse-Faster (CCDF), also reveals a new insight on how the existing feed-forward neural network approaches for inverse problems can be synergistically combined with the diffusion models. Experimental results with super-resolution, image inpainting, and compressed sensing MRI demonstrate that our method can achieve state-of-the-art reconstruction performance at significantly reduced sampling steps.


翻译:传播模型由于其作为基因模型的强效性能,最近在社区中引起了极大的兴趣;此外,它应用于反向问题,显示了其最新性能;不幸的是,传播模型有一个关键的下坡点,它们从本质上是抽样缓慢的,需要几千个迭代步骤才能从纯高山噪音中产生图像;在这项工作中,我们表明,从高山噪音开始是没有必要的。相反,从单一的向前扩散开始,经过更好的初始化,大大减少了反向条件扩散的取样步骤的数量。这种现象由我们有条件的传播战略等随机差异方程式的收缩理论正式解释,即逆向扩散的交替应用,随后是非爆炸性数据一致性步骤。新的取样战略,即假冒的Come-Closter-Diffuse-Faster(CCDFDF),还揭示了一种新的认识,即现有反向电传的神经网络方法如何与扩散模型协同使用。实验结果与超分辨率、图像绘制图像和压缩感测MRI等模型,表明我们的方法可以大幅降低采样步骤的状态。

0
下载
关闭预览

相关内容

【干货书】机器学习速查手册,135页pdf
专知会员服务
127+阅读 · 2020年11月20日
专知会员服务
124+阅读 · 2020年9月8日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
条件GAN重大改进!cGANs with Projection Discriminator
CreateAMind
8+阅读 · 2018年2月7日
Arxiv
0+阅读 · 2022年2月15日
Arxiv
0+阅读 · 2022年2月11日
VIP会员
相关资讯
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
条件GAN重大改进!cGANs with Projection Discriminator
CreateAMind
8+阅读 · 2018年2月7日
Top
微信扫码咨询专知VIP会员