The photographs captured by digital cameras usually suffer from the improper (over or under) exposure problems. For image exposure enhancement, the tasks of Single-Exposure Correction (SEC) and Multi-Exposure Fusion (MEF) are widely studied in the image processing community. However, current SEC or MEF methods are developed under different motivations and thus ignore the internal correlation between SEC and MEF, making it difficult to process arbitrary-length sequences with inaccurate exposures. Besides, the MEF methods usually fail at estimating the exposure of a sequence containing only under-exposed or over-exposed images. To alleviate these problems, in this paper, we develop an integrated convolutional neural network feasible to tackle an arbitrary-length (including one) image sequence suffering from inaccurate exposures. Specifically, we propose a novel Fusion-Correction Network (FCNet) to fuse and correct an image sequence by employing the multi-level Laplacian Pyramid (LP) image decomposition scheme. In each LP level, the low-frequency base component(s) of the input image sequence is fed into a Fusion block and a Correction block sequentially for consecutive exposure estimation, implemented by alternative image fusion and exposure correction. The exposure-corrected image in current LP level is upsampled and re-composed with the high-frequency detail component(s) of the input image sequence in the next LP level, to output the base component of the input image sequence for the Fusion and Correction blocks in the next LP level. Experiments on the benchmark dataset demonstrate that our FCNet is effective arbitrary-length exposure estimation (both SEC and MEF). The code will be publicly released.


翻译:数码相机拍摄的照片常存在不恰当的(过曝或欠曝)曝光问题。在图像曝光增强领域,单次曝光校正与多次曝光融合是图像处理领域广泛研究的两个任务。然而,现有SEC或MEF方法基于不同动机开发,忽略了SEC与MEF之间的内在关联,难以处理包含不准确曝光的任意长度图像序列。此外,MEF方法通常无法有效估计仅包含欠曝或过曝图像的序列曝光值。为解决上述问题,本文提出一种能够处理任意长度(包括单张)不准确曝光图像序列的集成式卷积神经网络。具体而言,我们提出融合-校正网络,通过多级拉普拉斯金字塔图像分解方案实现图像序列的融合与校正。在每个LP层级中,输入图像序列的低频基分量依次输入融合模块与校正模块进行连续曝光估计,通过交替进行图像融合与曝光校正实现。当前LP层级经曝光校正后的图像经上采样后,与下一LP层级的输入图像序列高频细节分量重新组合,作为下一LP层级融合与校正模块的输入基分量。在基准数据集上的实验表明,本FCNet在任意长度曝光估计任务(包括SEC与MEF)中均表现优异。相关代码将公开发布。

0
下载
关闭预览

相关内容

不可错过!《机器学习100讲》课程,UBC Mark Schmidt讲授
专知会员服务
76+阅读 · 2022年6月28日
专知会员服务
32+阅读 · 2021年6月12日
《DeepGCNs: Making GCNs Go as Deep as CNNs》
专知会员服务
32+阅读 · 2019年10月17日
[综述]深度学习下的场景文本检测与识别
专知会员服务
78+阅读 · 2019年10月10日
AAAI2020 图相关论文集
图与推荐
11+阅读 · 2020年7月15日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
18+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
ResNet, AlexNet, VGG, Inception:各种卷积网络架构的理解
全球人工智能
20+阅读 · 2017年12月17日
【推荐】ResNet, AlexNet, VGG, Inception:各种卷积网络架构的理解
机器学习研究会
20+阅读 · 2017年12月17日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
Arxiv
0+阅读 · 2023年7月14日
Arxiv
0+阅读 · 2023年7月12日
Hierarchical Graph Capsule Network
Arxiv
20+阅读 · 2020年12月16日
Adversarial Mutual Information for Text Generation
Arxiv
13+阅读 · 2020年6月30日
Geometric Graph Convolutional Neural Networks
Arxiv
10+阅读 · 2019年9月11日
VIP会员
最新内容
对抗环境下超视距目标打击的情报支援
专知会员服务
8+阅读 · 7月22日
《无人机对海面作战影响评估》
专知会员服务
15+阅读 · 7月21日
印度精确打击与指挥架构的断层
专知会员服务
7+阅读 · 7月20日
美空军AI完成F-16战斗机自主空战历史性试飞
专知会员服务
8+阅读 · 7月20日
相关资讯
AAAI2020 图相关论文集
图与推荐
11+阅读 · 2020年7月15日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
18+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
ResNet, AlexNet, VGG, Inception:各种卷积网络架构的理解
全球人工智能
20+阅读 · 2017年12月17日
【推荐】ResNet, AlexNet, VGG, Inception:各种卷积网络架构的理解
机器学习研究会
20+阅读 · 2017年12月17日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
相关基金
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员