One-Step Diffusion Models have demonstrated promising capability and fast inference in video super-resolution (VSR) for real-world. Nevertheless, the substantial model size and high computational cost of Diffusion Transformers (DiTs) limit downstream applications. While low-bit quantization is a common approach for model compression, the effectiveness of quantized models is challenged by the high dynamic range of input latent and diverse layer behaviors. To deal with these challenges, we introduce LSGQuant, a layer-sensitivity guided quantizing approach for one-step diffusion-based real-world VSR. Our method incorporates a Dynamic Range Adaptive Quantizer (DRAQ) to fit video token activations. Furthermore, we estimate layer sensitivity and implement a Variance-Oriented Layer Training Strategy (VOLTS) by analyzing layer-wise statistics in calibration. We also introduce Quantization-Aware Optimization (QAO) to jointly refine the quantized branch and a retained high-precision branch. Extensive experiments demonstrate that our method has nearly performance to origin model with full-precision and significantly exceeds existing quantization techniques. Code is available at: https://github.com/zhengchen1999/LSGQuant.


翻译:一步扩散模型在真实世界视频超分辨率任务中展现出优异的性能和快速的推理能力。然而,扩散变换器庞大的模型规模和高计算成本限制了其下游应用。虽然低位量化是模型压缩的常用方法,但输入潜变量的高动态范围以及各层行为的多样性对量化模型的有效性提出了挑战。为解决这些挑战,我们提出了LSGQuant,一种面向一步扩散真实世界视频超分辨率的层敏感度引导量化方法。本方法采用动态范围自适应量化器来适配视频令牌激活值。此外,我们通过分析校准过程中的层间统计量来估计层敏感度,并实施方差导向的层训练策略。我们还引入了量化感知优化,以联合微调量化分支和保留的高精度分支。大量实验表明,本方法在性能上接近原始全精度模型,并显著超越现有量化技术。代码发布于:https://github.com/zhengchen1999/LSGQuant。

0
下载
关闭预览

相关内容

扩散模型量化综述
专知会员服务
18+阅读 · 2025年5月11日
低层视觉中的扩散模型:综述
专知会员服务
22+阅读 · 2024年6月18日
扩散模型概述:应用、引导生成、统计率和优化
专知会员服务
47+阅读 · 2024年4月14日
详解扩散模型:从DDPM到稳定扩散,附Slides与视频
专知会员服务
87+阅读 · 2022年10月9日
基于深度学习的图像超分辨率最新进展与趋势【附PDF】
人工智能前沿讲习班
15+阅读 · 2019年2月27日
超全总结:神经网络加速之量化模型 | 附带代码
一文概览基于深度学习的超分辨率重建架构
基于强化学习的量化交易框架
机器学习研究会
30+阅读 · 2018年2月22日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员