Ill-posed imaging inverse problems remain challenging due to the ambiguity in mapping degraded observations to clean images. Diffusion-based generative priors have recently shown promise, but typically rely on computationally intensive iterative sampling or per-instance optimization. Amortized variational inference frameworks address this inefficiency by learning a direct mapping from measurements to posteriors, enabling fast posterior sampling without requiring the optimization of a new posterior for every new set of measurements. However, they still struggle to reconstruct fine details and complex textures. To address this, we extend the amortized framework by injecting spatially adaptive perturbations to measurements during training, guided by uncertainty estimates, to emphasize learning in the most uncertain regions. Experiments on deblurring and super-resolution demonstrate that our method achieves superior or competitive performance to previous diffusion-based approaches, delivering more realistic reconstructions without the computational cost of iterative refinement.


翻译:不适定的成像逆问题由于从退化观测到清晰图像的映射存在模糊性而仍然具有挑战性。基于扩散的生成先验方法近期显示出潜力,但通常依赖于计算密集的迭代采样或针对每个实例的优化。摊销变分推断框架通过学习从测量值到后验分布的直接映射来解决这种低效问题,从而无需为每个新的测量集优化新的后验分布即可实现快速后验采样。然而,这些方法在重建精细细节和复杂纹理方面仍存在困难。为解决此问题,我们扩展了摊销框架,在训练期间根据不确定性估计的指导,对测量值注入空间自适应的扰动,以强调在最不确定区域的学习。在去模糊和超分辨率任务上的实验表明,我们的方法相较于先前的基于扩散的方法取得了更优或具有竞争力的性能,能够提供更真实的重建结果,而无需迭代优化的计算成本。

0
下载
关闭预览

相关内容

从图像去噪到成像逆问题的正则化:综述
专知会员服务
15+阅读 · 2025年9月13日
【NeurIPS 2024】用于变分似然估计和图像去噪的扩散先验
专知会员服务
15+阅读 · 2024年10月26日
《扩散模型图像编辑》综述
专知会员服务
28+阅读 · 2024年2月28日
生成先验的信号恢复
专知会员服务
22+阅读 · 2023年1月5日
【AAAI2023】不确定性感知的图像描述生成
专知会员服务
26+阅读 · 2022年12月4日
一文概览基于深度学习的超分辨率重建架构
图像降噪算法介绍及实现汇总
极市平台
26+阅读 · 2018年1月3日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员