Diffusion models excel in Real-World Image Super-Resolution (Real-ISR) due to their powerful generative priors but suffer from slow iterative sampling. Although existing one-step distillation methods accelerate inference, they typically require auxiliary teacher models that inflate training memory and restrict scalability to large-scale architectures. Furthermore, these fixed-step models lack the flexibility to trade off speed for quality. In this paper, we propose TEASR, a training-efficient any-step diffusion framework for Real-ISR that enables both one-step and multi-step restoration within a unified model. Our key idea is to perform self-adversarial distillation within a single diffusion model, eliminating the need for auxiliary teachers or discriminators. Specifically, we propose a timestep-aware rectification strategy that stabilizes one-step generation across noise levels. These two designs further enables the distillation of 20B-parameter diffusion models on a single GPU, significantly improving training efficiency. Moreover, we introduce a dual-branch diffusion transformer with decoupled timestep condition to separate the current noise state and the denoising target to enhance sampling quality. Extensive experiments demonstrate that TEASR supports seamless any-step sampling and consistently outperforms state-of-the-art methods across multiple datasets.


翻译:扩散模型凭借其强大的生成先验在实际图像超分辨率(Real-ISR)任务中表现优异,但存在迭代采样速度缓慢的问题。现有一步蒸馏方法虽能加速推理,却通常需要辅助教师模型,这不仅增加训练内存开销,还限制了向大规模架构的可扩展性。此外,这些固定步数模型缺乏在速度与质量之间灵活权衡的能力。本文提出TEASR——一种面向实际图像超分辨率的训练高效任意步扩散框架,可在统一模型中支持一步和多步恢复。核心思想是在单个扩散模型内部执行自对抗蒸馏,无需额外教师模型或判别器。具体而言,我们提出时间步感知修正策略,以稳定不同噪声水平下的一步生成。上述两种设计进一步支持在单个GPU上蒸馏200亿参数扩散模型,显著提升训练效率。此外,我们引入解耦时间步条件的双分支扩散Transformer,以分离当前噪声状态与去噪目标,从而提升采样质量。大量实验表明,TEASR支持无缝任意步采样,并在多个数据集上持续优于现有最优方法。

0
下载
关闭预览

相关内容

144页ppt《扩散模型》,Google DeepMind Sander Dieleman
专知会员服务
51+阅读 · 2025年11月21日
扩散模型图像超分辨率等综述
专知会员服务
25+阅读 · 2024年1月2日
基于深度学习的图像超分辨率最新进展与趋势【附PDF】
人工智能前沿讲习班
15+阅读 · 2019年2月27日
深度学习图像超分辨率最新综述:从模型到应用
炼数成金订阅号
65+阅读 · 2019年2月20日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
最新内容
边缘计算的军事应用
专知会员服务
2+阅读 · 8月9日
一种考虑资源机动性的武器目标分配混合算法
专知会员服务
4+阅读 · 8月8日
《多域冲突比较支持模型》60页
专知会员服务
10+阅读 · 8月7日
相关基金
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员