With recent advances in generative models, diffusion models have emerged as powerful priors for solving inverse problems in each domain. Since Latent Diffusion Models (LDMs) provide generic priors, several studies have explored their potential as domain-agnostic zero-shot inverse solvers. Despite these efforts, existing latent diffusion inverse solvers suffer from their instability, exhibiting undesirable artifacts and degraded quality. In this work, we first identify the instability as a discrepancy between the solver's and true reverse diffusion dynamics, and show that reducing this gap stabilizes the solver. Building on this, we introduce Measurement-Consistent Langevin Corrector (MCLC), a theoretically grounded plug-and-play correction module that remedies the LDM-based inverse solvers through measurement-consistent Langevin updates. Compared to prior approaches that rely on linear manifold assumptions, which often do not hold in latent space, MCLC operates without this assumption, leading to more stable and reliable behavior. We experimentally demonstrate the effectiveness of MCLC and its compatibility with existing solvers across diverse image restoration tasks. Additionally, we analyze blob artifacts and offer insights into their underlying causes. We highlight that MCLC is a key step toward more robust zero-shot inverse problem solvers.


翻译:随着生成模型的最新进展,扩散模型已成为解决各领域逆问题的强大先验。由于隐式扩散模型(LDMs)提供了通用先验,多项研究探索了其作为领域无关零样本逆问题求解器的潜力。尽管已有这些努力,现有隐式扩散逆问题求解器仍受不稳定性困扰,表现出不希望的伪影和质量下降。本工作中,我们首先将这种不稳定性识别为求解器与真实反向扩散动态之间的差异,并证明缩小这一差距能稳定求解器。基于此,我们提出了测量一致朗之万校正器(MCLC),这是一个理论基础的即插即用校正模块,通过测量一致的朗之万更新来修正基于LDM的逆问题求解器。相较于依赖线性流形假设(该假设在隐空间往往不成立)的先前方法,MCLC无需此假设即可运行,从而产生更稳定可靠的行为。我们通过实验证明了MCLC的有效性及其在多样化图像复原任务中与现有求解器的兼容性。此外,我们分析了斑点伪影并深入探讨其根本成因。我们强调,MCLC是实现更鲁棒零样本逆问题求解器的关键一步。

0
下载
关闭预览

相关内容

【NeurIPS 2024 Oral】用于多条件分子生成的图扩散Transformer
专知会员服务
16+阅读 · 2024年10月5日
 DiffRec: 扩散推荐模型(SIGIR'23)
专知会员服务
48+阅读 · 2023年4月16日
AAAI 2022 | ProtGNN:自解释图神经网络
专知
10+阅读 · 2022年2月28日
【NeurIPS2019】图变换网络:Graph Transformer Network
国家自然科学基金
1+阅读 · 2016年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
1+阅读 · 2016年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员