RGB-to-RAW reconstruction, or the reverse modeling of a camera Image Signal Processing (ISP) pipeline, aims to recover high-fidelity RAW data from RGB images. Despite notable progress, existing learning-based methods typically treat this task as a direct regression objective and struggle with detail inconsistency and color deviation, due to the ill-posed nature of inverse ISP and the inherent information loss in quantized RGB images. To address these limitations, we pioneer a generative perspective by reformulating RGB-to-RAW reconstruction as a deterministic latent transport problem and introduce a novel framework named RAW-Flow, which leverages flow matching to learn a deterministic vector field in latent space, to effectively bridge the gap between RGB and RAW representations and enable accurate reconstruction of structural details and color information. To further enhance latent transport, we introduce a cross-scale context guidance module that injects hierarchical RGB features into the flow estimation process. Moreover, we design a dual-domain latent autoencoder with a feature alignment constraint to support the proposed latent transport framework, which jointly encodes RGB and RAW inputs while promoting stable training and high-fidelity reconstruction. Extensive experiments demonstrate that RAW-Flow outperforms state-of-the-art approaches both quantitatively and visually.


翻译:RGB到RAW重建,即相机图像信号处理(ISP)管道的逆向建模,旨在从RGB图像中恢复高保真度的RAW数据。尽管已取得显著进展,但现有的基于学习的方法通常将此任务视为直接回归目标,并因逆ISP问题的不适定性以及量化RGB图像固有的信息损失,而难以处理细节不一致和色彩偏差问题。为克服这些局限,我们开创性地从生成视角出发,将RGB到RAW重建重新表述为一个确定性潜空间传输问题,并提出了名为RAW-Flow的新框架。该框架利用流匹配技术学习潜空间中的确定性向量场,以有效弥合RGB与RAW表示之间的差距,实现结构细节与色彩信息的精确重建。为进一步增强潜空间传输,我们引入了跨尺度上下文引导模块,将分层RGB特征注入流估计过程。此外,我们设计了一种具有特征对齐约束的双域潜自编码器,以支持所提出的潜传输框架;该编码器能同时对RGB与RAW输入进行联合编码,同时促进稳定训练与高保真重建。大量实验表明,RAW-Flow在定量评估与视觉质量上均优于现有最先进方法。

0
下载
关闭预览

相关内容

从图像去噪到成像逆问题的正则化:综述
专知会员服务
15+阅读 · 2025年9月13日
深度学习背景下的图像三维重建技术进展综述
专知会员服务
38+阅读 · 2023年9月4日
CVPR 2022 Oral | 基于熵筛选的半监督三维旋转回归
专知会员服务
18+阅读 · 2022年4月18日
【AAAI2022】基于属性的渐进融合网络的RGBT跟踪
专知会员服务
22+阅读 · 2022年1月8日
CVPR 2021 Oral | 室内动态场景中的相机重定位
专知会员服务
16+阅读 · 2021年4月12日
三维重建 3D reconstruction 有哪些实用算法?
极市平台
13+阅读 · 2020年2月23日
计算机视觉方向简介 | 三维重建技术概述
计算机视觉life
26+阅读 · 2019年6月13日
Deep Image Prior——图像恢复入门
中国人工智能学会
15+阅读 · 2019年2月16日
learn to see in the dark-低照度图像增强算法
计算机视觉life
16+阅读 · 2019年1月14日
DeOldify:用GAN为黑白照片重新着色
论智
34+阅读 · 2018年11月2日
深度学习之图像超分辨重建技术
机器学习研究会
12+阅读 · 2018年3月24日
图像降噪算法介绍及实现汇总
极市平台
26+阅读 · 2018年1月3日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
VIP会员
相关资讯
三维重建 3D reconstruction 有哪些实用算法?
极市平台
13+阅读 · 2020年2月23日
计算机视觉方向简介 | 三维重建技术概述
计算机视觉life
26+阅读 · 2019年6月13日
Deep Image Prior——图像恢复入门
中国人工智能学会
15+阅读 · 2019年2月16日
learn to see in the dark-低照度图像增强算法
计算机视觉life
16+阅读 · 2019年1月14日
DeOldify:用GAN为黑白照片重新着色
论智
34+阅读 · 2018年11月2日
深度学习之图像超分辨重建技术
机器学习研究会
12+阅读 · 2018年3月24日
图像降噪算法介绍及实现汇总
极市平台
26+阅读 · 2018年1月3日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员