Normalizing flows have recently demonstrated promising results for low-level vision tasks. For image super-resolution (SR), it learns to predict diverse photo-realistic high-resolution (HR) images from the low-resolution (LR) image rather than learning a deterministic mapping. For image rescaling, it achieves high accuracy by jointly modelling the downscaling and upscaling processes. While existing approaches employ specialized techniques for these two tasks, we set out to unify them in a single formulation. In this paper, we propose the hierarchical conditional flow (HCFlow) as a unified framework for image SR and image rescaling. More specifically, HCFlow learns a bijective mapping between HR and LR image pairs by modelling the distribution of the LR image and the rest high-frequency component simultaneously. In particular, the high-frequency component is conditional on the LR image in a hierarchical manner. To further enhance the performance, other losses such as perceptual loss and GAN loss are combined with the commonly used negative log-likelihood loss in training. Extensive experiments on general image SR, face image SR and image rescaling have demonstrated that the proposed HCFlow achieves state-of-the-art performance in terms of both quantitative metrics and visual quality.


翻译:对于图像超分辨率(SR)而言,它学会从低分辨率(LR)图像中预测不同的照片现实高分辨率图像,而不是学习确定性绘图。对于图像再缩放,它通过共同模拟降缩和升缩过程而实现高度精确性。虽然现有方法为这两项任务采用专门技术,但我们准备将这两项任务统一成一个单一的公式。在本文件中,我们提议将等级条件性流动(HCFlow)作为图像超分辨率(SR)和图像再缩缩放的统一框架。更具体地说,HCFlow通过模拟LR图像的分布和休息高频部分同时进行模拟,在HR与LR图像配对之间进行双向映射。特别是,高频部分以等级方式以LR图像为条件。为了进一步提高性能,其他损失,例如感知性损失和GAN损失,与培训中常用的负日志损失相结合。在普通图像SR、脸色SR和图像质量显示,拟议的HArt-R和图像质量的量化性能都显示,拟议的HSR和图像质量的量化性能都显示。

7
下载
关闭预览

相关内容

再缩放是一个类别不平衡学习的一个基本策略。当训练集中正、反例数据不均等时,令m+表示正例数,m-表示反例数,并且需对预测值进行缩放调整。
Python图像处理,366页pdf,Image Operators Image Processing in Python
【Google】平滑对抗训练,Smooth Adversarial Training
专知会员服务
49+阅读 · 2020年7月4日
已删除
将门创投
5+阅读 · 2019年3月29日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Arxiv
5+阅读 · 2020年3月16日
Meta-Transfer Learning for Zero-Shot Super-Resolution
Arxiv
43+阅读 · 2020年2月27日
Arxiv
21+阅读 · 2018年5月23日
VIP会员
最新内容
人工智能赋能无人机:俄乌战争(万字长文)
专知会员服务
5+阅读 · 今天6:56
国外海军作战管理系统与作战训练系统
专知会员服务
2+阅读 · 今天4:16
美军条令《海军陆战队规划流程(2026版)》
专知会员服务
10+阅读 · 今天3:36
《压缩式分布式交互仿真标准》120页
专知会员服务
4+阅读 · 今天3:21
《电子战数据交换模型研究报告》
专知会员服务
6+阅读 · 今天3:13
《基于Transformer的异常舰船导航识别与跟踪》80页
《低数据领域军事目标检测模型研究》
专知会员服务
6+阅读 · 今天2:37
【CMU博士论文】物理世界的视觉感知与深度理解
专知会员服务
10+阅读 · 4月22日
相关VIP内容
Python图像处理,366页pdf,Image Operators Image Processing in Python
【Google】平滑对抗训练,Smooth Adversarial Training
专知会员服务
49+阅读 · 2020年7月4日
相关资讯
已删除
将门创投
5+阅读 · 2019年3月29日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Top
微信扫码咨询专知VIP会员