Diffusion Models (DMs) have achieved remarkable progress in generative modeling. However, the mismatch between the forward terminal distribution and reverse initial distribution introduces prior error, leading to deviations of sampling trajectories from the true distribution and severely limiting model performance. This issue further triggers cascading problems, including non-zero Signal-to-Noise Ratio, accumulated denoising errors, degraded generation quality, and constrained sampling efficiency. To address this issue, this paper proposes a prior error elimination framework based on Optimal Transport (OT). Specifically, an OT map from the reverse initial distribution to the forward terminal distribution is constructed to achieve precise matching of the two distributions. Meanwhile, the upper bound of the prior error is quantified using the Wasserstein distance, proving that the prior error can be effectively eliminated via the OT map. Additionally, by deriving the asymptotic consistency between dynamic OT and probability flow, this method is revealed to be highly compatible with the intrinsic mechanism of the diffusion process. Experimental results demonstrate that the proposed method completely eliminates the prior error both theoretically and practically, providing a universal and rigorous solution for optimizing the performance of DMs.


翻译:扩散模型在生成建模领域取得了显著进展。然而,前向终端分布与反向初始分布之间的失配会引入先验误差,导致采样轨迹偏离真实分布,严重限制了模型性能。该问题进一步引发了一系列级联问题,包括非零信噪比、累积去噪误差、生成质量下降以及采样效率受限。为解决此问题,本文提出了一种基于最优传输的先验误差消除框架。具体而言,构建了从反向初始分布到前向终端分布的最优传输映射,以实现两个分布的精确匹配。同时,利用Wasserstein距离量化了先验误差的上界,证明通过最优传输映射可有效消除先验误差。此外,通过推导动态最优传输与概率流之间的渐近一致性,揭示了该方法与扩散过程内在机制的高度兼容性。实验结果表明,所提方法在理论与实践中均能完全消除先验误差,为优化扩散模型性能提供了通用且严谨的解决方案。

0
下载
关闭预览

相关内容

高效扩散模型:从原理到实践的全面综述
专知会员服务
41+阅读 · 2024年10月16日
《扩散模型及其应用》最新综述
专知会员服务
50+阅读 · 2024年8月21日
【NeurIPS 2022】扩散模型的深度平衡方法
专知会员服务
40+阅读 · 2022年11月5日
详解扩散模型:从DDPM到稳定扩散,附Slides与视频
专知会员服务
87+阅读 · 2022年10月9日
以BERT为例,如何优化机器学习模型性能?
专知
10+阅读 · 2019年10月3日
机器学习中如何处理不平衡数据?
机器之心
13+阅读 · 2019年2月17日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Arxiv
0+阅读 · 2月18日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员