Hyperspectral image (HSI) denoising is essentially ill-posed since a noisy HSI can be degraded from multiple clean HSIs. However, existing deep learning (DL)-based approaches only restore one clean HSI from the given noisy HSI with a deterministic mapping, thus ignoring the ill-posed issue and always resulting in an over-smoothing problem. Additionally, these DL-based methods often neglect that noise is part of the high-frequency component and their network architectures fail to decouple the learning of low-frequency and high-frequency. To alleviate these issues, this paper proposes a flow-based HSI denoising network (HIDFlowNet) to directly learn the conditional distribution of the clean HSI given the noisy HSI and thus diverse clean HSIs can be sampled from the conditional distribution. Overall, our HIDFlowNet is induced from the generative flow model and is comprised of an invertible decoder and a conditional encoder, which can explicitly decouple the learning of low-frequency and high-frequency information of HSI. Specifically, the invertible decoder is built by staking a succession of invertible conditional blocks (ICBs) to capture the local high-frequency details. The conditional encoder utilizes down-sampling operations to obtain low-resolution images and uses transformers to capture correlations over a long distance so that global low-frequency information can be effectively extracted. Extensive experiments on simulated and real HSI datasets verify that our proposed HIDFlowNet can obtain better or comparable results compared with other state-of-the-art methods.


翻译:高光谱图像(HSI)去噪本质上是一个不适定问题,因为一个含噪HSI可能由多个干净HSI退化而来。然而,现有的基于深度学习(DL)的方法仅通过确定性映射从给定的含噪HSI中恢复出一个干净HSI,从而忽略了不适定性问题,并总是导致过度平滑现象。此外,这些基于深度学习的方法往往忽视了噪声属于高频分量的一部分,且其网络架构未能解耦低频与高频的学习。为缓解这些问题,本文提出一种基于流的HSI去噪网络(HIDFlowNet),直接学习给定含噪HSI条件下干净HSI的条件分布,从而可以从该条件分布中采样得到多样化的干净HSI。总体而言,我们的HIDFlowNet由生成流模型推导而来,包含一个可逆解码器和一个条件编码器,能够显式地解耦HSI低频与高频信息的学习。具体而言,可逆解码器通过堆叠一系列可逆条件块(ICB)构建,以捕捉局部高频细节。条件编码器利用下采样操作获取低分辨率图像,并采用transformer捕获长距离相关性,从而有效提取全局低频信息。在模拟和真实HSI数据集上的大量实验验证了所提出的HIDFlowNet相较于其他先进方法能够取得更好或相当的结果。

0
下载
关闭预览

相关内容

专知会员服务
43+阅读 · 2021年8月30日
专知会员服务
33+阅读 · 2021年7月26日
图像/视频去噪算法资源集锦
专知
19+阅读 · 2019年12月14日
CVPR 2018 论文解读 | 基于GAN和CNN的图像盲去噪
PaperWeekly
13+阅读 · 2019年1月22日
深度学习时代的图模型,清华发文综述图网络
GAN生成式对抗网络
13+阅读 · 2018年12月23日
图像降噪算法介绍及实现汇总
极市平台
26+阅读 · 2018年1月3日
Deep Image Prior:深度卷积网络先天就理解自然图像
极市平台
10+阅读 · 2017年12月5日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
VIP会员
相关VIP内容
专知会员服务
43+阅读 · 2021年8月30日
专知会员服务
33+阅读 · 2021年7月26日
相关基金
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员