Diffusion-based video super-resolution (VSR) methods achieve strong perceptual quality but remain impractical for latency-sensitive settings due to reliance on future frames and expensive multi-step denoising. We propose Stream-DiffVSR, a causally conditioned diffusion framework for efficient online VSR. Operating strictly on past frames, it combines a four-step distilled denoiser for fast inference, an Auto-regressive Temporal Guidance (ARTG) module that injects motion-aligned cues during latent denoising, and a lightweight temporal-aware decoder with a Temporal Processor Module (TPM) that enhances detail and temporal coherence. Stream-DiffVSR processes 720p frames in 0.328 seconds on an RTX4090 GPU and significantly outperforms prior diffusion-based methods. Compared with the online SOTA TMP, it boosts perceptual quality (LPIPS +0.095) while reducing latency by over 130x. Stream-DiffVSR achieves the lowest latency reported for diffusion-based VSR, reducing initial delay from over 4600 seconds to 0.328 seconds, thereby making it the first diffusion VSR method suitable for low-latency online deployment. Project page: https://jamichss.github.io/stream-diffvsr-project-page/


翻译:基于扩散模型的视频超分辨率方法虽能实现卓越的感知质量,但由于其依赖未来帧及昂贵的多步去噪过程,在延迟敏感场景中仍不实用。本文提出Stream-DiffVSR,一种用于高效在线视频超分辨率的因果条件扩散框架。该方法严格基于历史帧进行处理,融合了以下核心组件:用于快速推理的四步蒸馏去噪器、在潜在去噪过程中注入运动对齐线索的自回归时序引导模块,以及配备时序处理器模块的轻量级时序感知解码器(该解码器可增强细节与时序一致性)。Stream-DiffVSR在RTX4090 GPU上处理720p帧仅需0.328秒,性能显著超越现有基于扩散的方法。与当前在线SOTA方法TMP相比,它在提升感知质量(LPIPS指标提升0.095)的同时,将延迟降低了130倍以上。Stream-DiffVSR实现了目前基于扩散的视频超分辨率方法中最低的延迟,将初始延迟从超过4600秒缩短至0.328秒,从而成为首种适用于低延迟在线部署的扩散视频超分辨率方法。项目页面:https://jamichss.github.io/stream-diffvsr-project-page/

0
下载
关闭预览

相关内容

【ICCV2025】InfGen:一种分辨率无关的可扩展图像合成范式
深度学习视频超分辨率综述
专知会员服务
14+阅读 · 2025年6月5日
扩散模型图像超分辨率等综述
专知会员服务
25+阅读 · 2024年1月2日
深度学习视频超分辨率技术概述
专知会员服务
38+阅读 · 2022年7月18日
基于深度学习的视频超分辨率重构进展综述
专知会员服务
19+阅读 · 2022年3月7日
CVPR 2019 | 神奇的超分辨率算法DPSR:应对图像模糊降质
计算机视觉life
16+阅读 · 2019年4月25日
基于深度学习的图像超分辨率最新进展与趋势【附PDF】
人工智能前沿讲习班
15+阅读 · 2019年2月27日
深度学习图像超分辨率最新综述:从模型到应用
炼数成金订阅号
65+阅读 · 2019年2月20日
【大数据】StreamSets:一个大数据采集工具
产业智能官
40+阅读 · 2018年12月5日
一文读懂图像压缩算法
七月在线实验室
17+阅读 · 2018年5月2日
一文概览基于深度学习的超分辨率重建架构
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
相关VIP内容
相关资讯
CVPR 2019 | 神奇的超分辨率算法DPSR:应对图像模糊降质
计算机视觉life
16+阅读 · 2019年4月25日
基于深度学习的图像超分辨率最新进展与趋势【附PDF】
人工智能前沿讲习班
15+阅读 · 2019年2月27日
深度学习图像超分辨率最新综述:从模型到应用
炼数成金订阅号
65+阅读 · 2019年2月20日
【大数据】StreamSets:一个大数据采集工具
产业智能官
40+阅读 · 2018年12月5日
一文读懂图像压缩算法
七月在线实验室
17+阅读 · 2018年5月2日
一文概览基于深度学习的超分辨率重建架构
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员