Diffusion-based generative processes, formulated as differential equation solving, frequently balance computational speed with sample quality. Our theoretical investigation of ODE- and SDE-based solvers reveals complementary weaknesses: ODE solvers accumulate irreducible gradient error along deterministic trajectories, while SDE methods suffer from amplified discretization errors when the step budget is limited. Building upon this insight, we introduce AdaSDE, a novel single-step SDE solver that aims to unify the efficiency of ODEs with the error resilience of SDEs. Specifically, we introduce a single per-step learnable coefficient, estimated via lightweight distillation, which dynamically regulates the error correction strength to accelerate diffusion sampling. Notably, our framework can be integrated with existing solvers to enhance their capabilities. Extensive experiments demonstrate state-of-the-art performance: at 5 NFE, AdaSDE achieves FID scores of 4.18 on CIFAR-10, 8.05 on FFHQ and 6.96 on LSUN Bedroom. Codes are available in https://github.com/WLU-wry02/AdaSDE.


翻译:基于扩散的生成过程,通常被表述为微分方程求解,常常需要在计算速度与样本质量之间进行权衡。我们对基于常微分方程(ODE)和随机微分方程(SDE)的求解器进行的理论分析揭示了其互补的弱点:ODE求解器沿着确定性轨迹累积不可约的梯度误差,而SDE方法在步数预算有限时则遭受放大的离散化误差。基于这一见解,我们提出了AdaSDE,一种新颖的单步SDE求解器,旨在将ODE的效率与SDE的误差鲁棒性统一起来。具体而言,我们引入了一个单一的可学习的每步系数,通过轻量级蒸馏进行估计,该系数动态调节误差校正强度以加速扩散采样。值得注意的是,我们的框架可以与现有求解器集成以增强其能力。大量实验证明了其最先进的性能:在5次网络函数评估(NFE)下,AdaSDE在CIFAR-10上实现了4.18的FID分数,在FFHQ上实现了8.05,在LSUN Bedroom上实现了6.96。代码可在 https://github.com/WLU-wry02/AdaSDE 获取。

0
下载
关闭预览

相关内容

FlowQA: Grasping Flow in History for Conversational Machine Comprehension
专知会员服务
34+阅读 · 2019年10月18日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
60+阅读 · 2019年10月17日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
STRCF for Visual Object Tracking
统计学习与视觉计算组
15+阅读 · 2018年5月29日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
Focal Loss for Dense Object Detection
统计学习与视觉计算组
12+阅读 · 2018年3月15日
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
11+阅读 · 2023年8月28日
Arxiv
23+阅读 · 2022年2月24日
Arxiv
31+阅读 · 2021年6月30日
Arxiv
38+阅读 · 2020年12月2日
Exploring Visual Relationship for Image Captioning
Arxiv
15+阅读 · 2018年9月19日
VIP会员
相关资讯
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
STRCF for Visual Object Tracking
统计学习与视觉计算组
15+阅读 · 2018年5月29日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
Focal Loss for Dense Object Detection
统计学习与视觉计算组
12+阅读 · 2018年3月15日
相关论文
Arxiv
11+阅读 · 2023年8月28日
Arxiv
23+阅读 · 2022年2月24日
Arxiv
31+阅读 · 2021年6月30日
Arxiv
38+阅读 · 2020年12月2日
Exploring Visual Relationship for Image Captioning
Arxiv
15+阅读 · 2018年9月19日
相关基金
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员