Emerging universal Computational Aberration Correction (CAC) paradigms provide an inspiring solution to light-weight and high-quality imaging with a universal model trained on a lens library (LensLib) to address arbitrary lens optical aberrations blindly. However, the limited coverage of existing LensLibs leads to poor generalization of the trained models to unseen lenses, whose fine-tuning pipeline is also confined to the lens-descriptions-known case. In this work, we introduce OmniLens, a flexible solution to universal CAC via (i) establishing a convincing LensLib with comprehensive coverage for pre-training a robust base model, and (ii) adapting the model to any specific lens designs with unknown lens descriptions via fast LensLib-to-specific domain adaptation. To achieve these, an Evolution-based Automatic Optical Design (EAOD) pipeline is proposed to generate a rich variety of lens samples with realistic aberration behaviors. Then, we design an unsupervised regularization term for efficient domain adaptation on a few easily accessible real-captured images based on the statistical observation of dark channel priors in degradation induced by lens aberrations. Extensive experiments demonstrate that the LensLib generated by EAOD effectively develops a universal CAC model with strong generalization capabilities, which can also improve the non-blind lens-specific methods by 0.35~1.81dB in PSNR. Additionally, the proposed domain adaptation method significantly improves the base model, especially in severe aberration cases (at most 2.59dB in PSNR). The code and data will be available at https://github.com/zju-jiangqi/OmniLens.


翻译:新兴的通用计算像差校正(CAC)范式提供了一种启发性的解决方案,通过在一个镜头库(LensLib)上训练一个通用模型来盲目地处理任意镜头的光学像差,从而实现轻量且高质量的成像。然而,现有镜头库有限的覆盖范围导致训练模型对未见镜头的泛化能力较差,其微调流程也局限于镜头描述已知的情况。在本工作中,我们提出了OmniLens,一种通过以下方式实现通用CAC的灵活解决方案:(i)建立一个具有全面覆盖范围的、有说服力的镜头库,用于预训练一个鲁棒的基础模型;(ii)通过快速的镜头库到特定域自适应,将该模型适配到任何镜头描述未知的特定镜头设计。为实现这些目标,我们提出了一个基于进化的自动光学设计(EAOD)流程,以生成具有真实像差行为的丰富多样的镜头样本。然后,基于对镜头像差引起的退化中暗通道先验的统计观察,我们设计了一个无监督正则化项,用于在少量易于获取的真实拍摄图像上进行高效的域自适应。大量实验表明,由EAOD生成的镜头库有效地开发了一个具有强大泛化能力的通用CAC模型,该模型还能将非盲的镜头特定方法的PSNR提升0.35~1.81dB。此外,所提出的域自适应方法显著改进了基础模型,特别是在严重像差情况下(PSNR最多提升2.59dB)。代码和数据将在 https://github.com/zju-jiangqi/OmniLens 提供。

0
下载
关闭预览

相关内容

AAAI 2022 | 基于预训练-微调框架的图像差异描述任务
专知会员服务
18+阅读 · 2022年2月26日
learn to see in the dark-低照度图像增强算法
计算机视觉life
16+阅读 · 2019年1月14日
半监督深度学习小结:类协同训练和一致性正则化
如何用TensorFlow和TF-Slim实现图像标注、分类与分割
北京思腾合力科技有限公司
21+阅读 · 2017年11月24日
推荐|caffe-orc主流ocr算法:CNN+BLSTM+CTC架构实现!
全球人工智能
19+阅读 · 2017年10月29日
国家自然科学基金
3+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
相关VIP内容
AAAI 2022 | 基于预训练-微调框架的图像差异描述任务
专知会员服务
18+阅读 · 2022年2月26日
相关基金
国家自然科学基金
3+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员