Currently, mobile and IoT devices are in dire need of a series of methods to enhance 4K images with limited resource expenditure. The absence of large-scale 4K benchmark datasets hampers progress in this area, especially for dehazing. The challenges in building ultra-high-definition (UHD) dehazing datasets are the absence of estimation methods for UHD depth maps, high-quality 4K depth estimation datasets, and migration strategies for UHD haze images from synthetic to real domains. To address these problems, we develop a novel synthetic method to simulate 4K hazy images (including nighttime and daytime scenes) from clear images, which first estimates the scene depth, simulates the light rays and object reflectance, then migrates the synthetic images to real domains by using a GAN, and finally yields the hazy effects on 4K resolution images. We wrap these synthesized images into a benchmark called the 4K-HAZE dataset. Specifically, we design the CS-Mixer (an MLP-based model that integrates \textbf{C}hannel domain and \textbf{S}patial domain) to estimate the depth map of 4K clear images, the GU-Net to migrate a 4K synthetic image to the real hazy domain. The most appealing aspect of our approach (depth estimation and domain migration) is the capability to run a 4K image on a single GPU with 24G RAM in real-time (33fps). Additionally, this work presents an objective assessment of several state-of-the-art single-image dehazing methods that are evaluated using the 4K-HAZE dataset. At the end of the paper, we discuss the limitations of the 4K-HAZE dataset and its social implications.


翻译:当前,移动与物联网设备亟需一系列在有限资源消耗下提升4K图像质量的方法。然而,大规模4K基准数据集的缺失阻碍了该领域(尤其是去雾任务)的发展。构建超高清(UHD)去雾数据集面临的挑战包括:缺乏UHD深度图的估计方法、高质量4K深度估计数据集,以及从合成域到真实域的UHD雾霾图像迁移策略。为解决上述问题,我们提出一种新型合成方法,通过清晰图像模拟4K雾霾图像(涵盖夜间与日间场景)。该方法首先估计场景深度,模拟光线传播与物体反射率,随后利用生成对抗网络(GAN)将合成图像迁移至真实域,最终在4K分辨率图像上生成雾霾效果。我们将这些合成图像整合为名为4K-HAZE的基准数据集。具体而言,我们设计了CS-Mixer(一种基于MLP的模型,融合了通道域与空间域)以估计4K清晰图像的深度图,并采用GU-Net将4K合成图像迁移至真实有雾域。本方法(深度估计与域迁移)最吸引人的特性在于:能在配备24GB显存的单块GPU上以实时(33fps)速度处理4K图像。此外,本文利用4K-HAZE数据集对多种前沿单幅图像去雾方法进行了客观评估。论文最后讨论了4K-HAZE数据集的局限性及其社会影响。

0
下载
关闭预览

相关内容

【CVPR2022】端到端实时矢量边缘提取(E2EC)
专知会员服务
16+阅读 · 2022年4月14日
《深度学习HDR成像》综述论文
专知会员服务
28+阅读 · 2021年12月14日
GNN 新基准!Long Range Graph Benchmark
图与推荐
0+阅读 · 2022年10月18日
CVPR 2020 论文大盘点-图像增强与图像恢复篇
计算机视觉life
36+阅读 · 2020年7月10日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
【泡泡一分钟】用于评估视觉惯性里程计的TUM VI数据集
泡泡机器人SLAM
11+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
Arxiv
0+阅读 · 2023年5月18日
Arxiv
16+阅读 · 2021年1月27日
VIP会员
最新内容
消耗优势:美军的“精确规模化”概念
专知会员服务
5+阅读 · 今天10:12
《离线语言支持系统:面向空战战术决策》
专知会员服务
5+阅读 · 今天9:53
俄乌战场地面机器人如何改写战争规则
专知会员服务
9+阅读 · 6月14日
《无人水面艇文献综述与结构设计》135页
专知会员服务
13+阅读 · 6月13日
相关VIP内容
【CVPR2022】端到端实时矢量边缘提取(E2EC)
专知会员服务
16+阅读 · 2022年4月14日
《深度学习HDR成像》综述论文
专知会员服务
28+阅读 · 2021年12月14日
相关基金
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员