All-in-one image restoration aims to recover clean images from diverse unknown degradations using a single model. But extending this task to videos faces unique challenges. Existing approaches primarily focus on frame-wise degradation variation, overlooking the temporal continuity that naturally exists in real-world degradation processes. In practice, degradation types and intensities evolve smoothly over time, and multiple degradations may coexist or transition gradually. In this paper, we introduce the Smoothly Evolving Unknown Degradations (SEUD) scenario, where both the active degradation set and degradation intensity change continuously over time. To support this scenario, we design a flexible synthesis pipeline that generates temporally coherent videos with single, compound, and evolving degradations. To address the challenges in the SEUD scenario, we propose an all-in-One Recurrent Conditional and Adaptive prompting Network (ORCANet). First, a Coarse Intensity Estimation Dehazing (CIED) module estimates haze intensity using physical priors and provides coarse dehazed features as initialization. Second, a Flow Prompt Generation (FPG) module extracts degradation features. FPG generates both static prompts that capture segment-level degradation types and dynamic prompts that adapt to frame-level intensity variations. Furthermore, a label-aware supervision mechanism improves the discriminability of static prompt representations under different degradations. Extensive experiments show that ORCANet achieves superior restoration quality, temporal consistency, and robustness over image and video-based baselines. Code is available at https://github.com/Friskknight/ORCANet-SEUD.


翻译:全场景图像修复旨在使用单一模型从多样化的未知退化中恢复清晰图像。但将该任务扩展至视频领域面临独特挑战。现有方法主要关注逐帧的退化变化,忽视了现实世界退化过程中自然存在的时间连续性。实践中,退化类型与强度随时间平滑演变,多种退化可能共存或逐渐过渡。本文提出平滑演化未知退化(SEUD)场景,其中活跃退化集与退化强度均随时间连续变化。为支持该场景,我们设计了一个灵活的合成流程,可生成具有单一、复合及演化退化的时间相干视频。针对SEUD场景的挑战,我们提出全场景循环条件自适应提示网络(ORCANet)。首先,粗粒度强度估计去雾(CIED)模块利用物理先验估计雾浓度,并提供粗去雾特征作为初始化。其次,流式提示生成(FPG)模块提取退化特征。FPG同时生成捕获片段级退化类型的静态提示,以及适应帧级强度变化的动态提示。此外,标签感知监督机制提升了不同退化下静态提示表征的判别能力。大量实验表明,ORCANet在图像与视频基线方法中实现了更优的修复质量、时间一致性和鲁棒性。代码发布于 https://github.com/Friskknight/ORCANet-SEUD。

0
下载
关闭预览

相关内容

【CVPR2024】持续遗忘对于预训练视觉模型
专知会员服务
19+阅读 · 2024年3月20日
【ETHZ博士论文】朝向更好的图像和视频恢复,159页pdf
专知会员服务
19+阅读 · 2023年10月16日
中科大等最新《基于扩散模型的图像恢复和增强》综述
专知会员服务
37+阅读 · 2023年8月22日
专知会员服务
64+阅读 · 2021年3月9日
专知会员服务
22+阅读 · 2021年1月5日
图像修复研究进展综述
专知
20+阅读 · 2021年3月9日
CVPR 2019 | 无监督领域特定单图像去模糊
PaperWeekly
14+阅读 · 2019年3月20日
Deep Image Prior——图像恢复入门
中国人工智能学会
15+阅读 · 2019年2月16日
全景分割任务介绍及其最新进展【附PPT与视频资料】
人工智能前沿讲习班
11+阅读 · 2018年12月5日
一文概览基于深度学习的超分辨率重建架构
干货|全景视频拼接的关键技术分析
全球人工智能
13+阅读 · 2017年7月15日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
相关资讯
图像修复研究进展综述
专知
20+阅读 · 2021年3月9日
CVPR 2019 | 无监督领域特定单图像去模糊
PaperWeekly
14+阅读 · 2019年3月20日
Deep Image Prior——图像恢复入门
中国人工智能学会
15+阅读 · 2019年2月16日
全景分割任务介绍及其最新进展【附PPT与视频资料】
人工智能前沿讲习班
11+阅读 · 2018年12月5日
一文概览基于深度学习的超分辨率重建架构
干货|全景视频拼接的关键技术分析
全球人工智能
13+阅读 · 2017年7月15日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员