The growing prevalence of high-resolution displays on edge devices has created a pressing need for efficient high dynamic range (HDR) imaging algorithms. However, most existing HDR methods either struggle to deliver satisfactory visual quality or incur high computational and memory costs, limiting their applicability to high-resolution inputs (typically exceeding 12 megapixels). Furthermore, current HDR dataset collection approaches are often labor-intensive and inefficient. In this work, we explore a novel and practical solution for HDR reconstruction directly from raw sensor data, aiming to enhance both performance and deployability on mobile platforms. Our key insights are threefold: (1) we propose RepUNet, a lightweight and efficient HDR network leveraging structural re-parameterization for fast and robust inference; (2) we design a new computational raw HDR data formation pipeline and construct a new raw HDR dataset, RealRaw-HDR; (3) we design a plug-and-play motion alignment loss to suppress ghosting artifacts under constrained bandwidth conditions effectively. Our model contains fewer than 830K parameters and takes less than 3 ms to process an image of 4K resolution using one RTX 3090 GPU. While being highly efficient, our model also achieves comparable performance to state-of-the-art HDR methods in terms of PSNR, SSIM, and a color difference metric.


翻译:随着边缘设备上高分辨率显示器的日益普及,对高效高动态范围成像算法的需求变得尤为迫切。然而,现有的大多数高动态范围方法要么难以提供令人满意的视觉质量,要么产生高昂的计算和内存开销,这限制了它们对高分辨率输入(通常超过1200万像素)的适用性。此外,当前的高动态范围数据集采集方法通常劳动密集且效率低下。在本工作中,我们探索了一种直接从原始传感器数据进行高动态范围重建的新颖且实用的解决方案,旨在提升移动平台上的性能和部署能力。我们的核心见解有三点:(1)我们提出了RepUNet,一个轻量级且高效的高动态范围网络,利用结构重参数化实现快速且鲁棒的推理;(2)我们设计了一种新的计算式原始高动态范围数据生成流程,并构建了一个新的原始高动态范围数据集RealRaw-HDR;(3)我们设计了一种即插即用的运动对齐损失函数,以在受限带宽条件下有效抑制重影伪影。我们的模型包含少于83万个参数,使用一块RTX 3090 GPU处理一张4K分辨率图像耗时不到3毫秒。在保持高效率的同时,我们的模型在峰值信噪比、结构相似性指数和色差度量方面也达到了与最先进高动态范围方法相当的性能。

0
下载
关闭预览

相关内容

【CVPR2024】VastGaussian: 用于大型场景重建的巨大三维高斯
《深度学习HDR成像》综述论文
专知会员服务
28+阅读 · 2021年12月14日
专知会员服务
29+阅读 · 2021年9月6日
CVPR 2019 | 神奇的超分辨率算法DPSR:应对图像模糊降质
计算机视觉life
16+阅读 · 2019年4月25日
基于深度学习的图像超分辨率最新进展与趋势【附PDF】
人工智能前沿讲习班
15+阅读 · 2019年2月27日
深度学习图像超分辨率最新综述:从模型到应用
炼数成金订阅号
65+阅读 · 2019年2月20日
一文读懂图像压缩算法
七月在线实验室
17+阅读 · 2018年5月2日
如何设计基于深度学习的图像压缩算法
论智
41+阅读 · 2018年4月26日
深度学习之图像超分辨重建技术
机器学习研究会
12+阅读 · 2018年3月24日
一文概览基于深度学习的超分辨率重建架构
国家自然科学基金
3+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
相关VIP内容
【CVPR2024】VastGaussian: 用于大型场景重建的巨大三维高斯
《深度学习HDR成像》综述论文
专知会员服务
28+阅读 · 2021年12月14日
专知会员服务
29+阅读 · 2021年9月6日
相关基金
国家自然科学基金
3+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员