Inverting real images into the noise space is essential for editing tasks using diffusion models, yet existing methods produce non-Gaussian noise with poor editability due to the inaccuracy in early noising steps. We identify the root cause: a mathematical singularity that renders inversion fundamentally ill-posed. We propose Singularity Skipping Inversion of Diffusion Models (SSI-DM), which bypasses this singular region by adding small noise before standard inversion. This simple approach produces inverted noise with natural Gaussian properties while maintaining reconstruction fidelity. As a plug-and-play technique compatible with general diffusion models, our method achieves superior performance on public image datasets for reconstruction and interpolation tasks, providing a principled and efficient solution to diffusion model inversion.


翻译:将真实图像反演至噪声空间对于利用扩散模型进行编辑任务至关重要,然而现有方法由于在早期加噪步骤中的不准确性,会产生非高斯噪声,导致编辑性能不佳。我们发现了根本原因:一个数学奇点使得反演在根本上是不适定的。我们提出了扩散模型的奇点跳跃反演(SSI-DM),该方法通过在标准反演前添加少量噪声来绕过该奇异区域。这一简单方法能产生具有自然高斯特性的反演噪声,同时保持重建保真度。作为一种与通用扩散模型兼容的即插即用技术,我们的方法在公共图像数据集上为重建和插值任务实现了卓越的性能,为扩散模型反演提供了一个原理清晰且高效的解决方案。

0
下载
关闭预览

相关内容

《扩散模型》最新教程,141页ppt
专知会员服务
79+阅读 · 2024年12月2日
《扩散模型及其应用》最新综述
专知会员服务
50+阅读 · 2024年8月21日
《扩散模型图像编辑》综述
专知会员服务
28+阅读 · 2024年2月28日
视觉的有效扩散模型综述
专知会员服务
97+阅读 · 2022年10月20日
详解扩散模型:从DDPM到稳定扩散,附Slides与视频
专知会员服务
87+阅读 · 2022年10月9日
FCS 论坛 | 孟德宇:误差建模原理
FCS
15+阅读 · 2017年8月17日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 2月18日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员