Improper exposure often leads to severe loss of details, color distortion, and reduced contrast. Exposure correction still faces two critical challenges: (1) the ignorance of object-wise regional semantic information causes the color shift artifacts; (2) real-world exposure images generally have no ground-truth labels, and its labeling entails massive manual editing. To tackle the challenges, we propose a new unsupervised semantic-aware exposure correction network. It contains an adaptive semantic-aware fusion module, which effectively fuses the semantic information extracted from a pre-trained Fast Segment Anything Model into a shared image feature space. Then the fused features are used by our multi-scale residual spatial mamba group to restore the details and adjust the exposure. To avoid manual editing, we propose a pseudo-ground truth generator guided by CLIP, which is fine-tuned to automatically identify exposure situations and instruct the tailored corrections. Also, we leverage the rich priors from the FastSAM and CLIP to develop a semantic-prompt consistency loss to enforce semantic consistency and image-prompt alignment for unsupervised training. Comprehensive experimental results illustrate the effectiveness of our method in correcting real-world exposure images and outperforms state-of-the-art unsupervised methods both numerically and visually.


翻译:不当曝光通常导致细节严重丢失、色彩失真及对比度降低。曝光校正仍面临两大关键挑战:(1) 对目标区域语义信息的忽视会导致色彩偏移伪影;(2) 真实世界曝光图像通常缺乏真实标注,其标注需耗费大量人工编辑。为应对这些挑战,我们提出一种新的无监督语义感知曝光校正网络。该网络包含自适应语义感知融合模块,能有效将从预训练Fast Segment Anything Model提取的语义信息融合至共享图像特征空间。随后,融合特征通过我们设计的多尺度残差空间曼巴组进行细节恢复与曝光调整。为避免人工编辑,我们提出一种由CLIP引导的伪真实标注生成器,该生成器经微调后可自动识别曝光情况并指导定制化校正。此外,我们利用FastSAM与CLIP的丰富先验知识,开发了语义提示一致性损失函数,以在无监督训练中强化语义一致性与图像-提示对齐。综合实验结果表明,我们的方法在真实世界曝光图像校正中具有显著效果,在数值指标与视觉质量上均优于当前最先进的无监督方法。

0
下载
关闭预览

相关内容

专知会员服务
39+阅读 · 2021年3月29日
[CVPR 2020]BEDSR-Net:单张文档图像的阴影去除深度网络
专知会员服务
26+阅读 · 2020年9月29日
CVPR 2019 | 无监督领域特定单图像去模糊
PaperWeekly
14+阅读 · 2019年3月20日
learn to see in the dark-低照度图像增强算法
计算机视觉life
16+阅读 · 2019年1月14日
无需干净样本,英伟达AI去马赛克
AR酱
10+阅读 · 2018年7月13日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员