Satellite imagery analysis plays a vital role in remote sensing, but the information loss caused by cloud cover seriously hinders its application. This study presents a high-performance cloud removal architecture called Progressive Multi-scale Attention Autoencoder (PMAA), which simultaneously leverages global and local information. It mainly consists of a cloud detection backbone and a cloud removal module. The cloud detection backbone uses cloud masks to reinforce cloudy areas to prompt the cloud removal module. The cloud removal module mainly comprises a novel Multi-scale Attention Module (MAM) and a Local Interaction Module (LIM). PMAA establishes the long-range dependency of multi-scale features using MAM and modulates the reconstruction of the fine-grained details using LIM, allowing for the simultaneous representation of fine- and coarse-grained features at the same level. With the help of diverse and multi-scale feature representation, PMAA outperforms the previous state-of-the-art model CTGAN consistently on the Sen2_MTC_Old and Sen2_MTC_New datasets. Furthermore, PMAA has a considerable efficiency advantage, with only 0.5% and 14.6% of the parameters and computational complexity of CTGAN, respectively. These extensive results highlight the potential of PMAA as a lightweight cloud removal network suitable for deployment on edge devices. We will release the code and trained models to facilitate the study in this direction.


翻译:卫星影像分析在遥感领域发挥着重要作用,但云层覆盖造成的信息损失严重阻碍了其应用。本研究提出了一种名为渐进式多尺度注意力自编码器(PMAA)的高性能去云架构,该架构同时利用全局与局部信息。该架构主要由云检测主干网络和去云模块组成。云检测主干网络利用云掩膜增强云覆盖区域,以引导去云模块进行修复。去云模块主要包含新型多尺度注意力模块(MAM)和局部交互模块(LIM)。PMAA通过MAM建立多尺度特征的长程依赖关系,并利用LIM调节细粒度细节的重建过程,从而在同一层级同时表征细粒度和粗粒度特征。借助多样化的多尺度特征表征能力,PMAA在Sen2_MTC_Old和Sen2_MTC_New数据集上持续优于先前最先进的CTGAN模型。此外,PMAA在效率上具有显著优势,其参数量和计算复杂度分别仅为CTGAN的0.5%和14.6%。这些广泛的结果凸显了PMAA作为适合部署于边缘设备的轻量级去云网络的潜力。我们将公开代码和预训练模型以促进该方向的研究。

0
下载
关闭预览

相关内容

「知识蒸馏」最新2022研究综述
专知会员服务
123+阅读 · 2022年3月20日
【AAAI2022】锚框排序知识蒸馏的目标检测
专知会员服务
27+阅读 · 2022年2月10日
【NeurIPS2021】用于视频分割的密集无监督学习
专知会员服务
15+阅读 · 2021年11月14日
专知会员服务
21+阅读 · 2021年4月2日
【ECCV2020】EfficientFCN:语义分割中的整体引导解码器
专知会员服务
18+阅读 · 2020年8月23日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
41+阅读 · 2019年10月9日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
Arxiv
0+阅读 · 2023年5月18日
Arxiv
12+阅读 · 2019年1月24日
VIP会员
最新内容
ICML 2026 | Sheaf-ADMM:用可微优化学习多智能体协调
专知会员服务
1+阅读 · 今天16:12
综述 | OPSD:大语言模型的在线策略自蒸馏
专知会员服务
1+阅读 · 今天16:08
算法化战争:人工智能时代的新范式(万字长文)
帕兰蒂尔Maven:军事人工智能的新纪元
专知会员服务
3+阅读 · 今天14:00
超越网格:作战环境对炮兵的影响
专知会员服务
3+阅读 · 5月31日
BES:让语言模型通过双向进化搜索自我改进
专知会员服务
6+阅读 · 5月30日
以色列-美国-伊朗战争中的无人机:关键要点
专知会员服务
7+阅读 · 5月30日
相关VIP内容
「知识蒸馏」最新2022研究综述
专知会员服务
123+阅读 · 2022年3月20日
【AAAI2022】锚框排序知识蒸馏的目标检测
专知会员服务
27+阅读 · 2022年2月10日
【NeurIPS2021】用于视频分割的密集无监督学习
专知会员服务
15+阅读 · 2021年11月14日
专知会员服务
21+阅读 · 2021年4月2日
【ECCV2020】EfficientFCN:语义分割中的整体引导解码器
专知会员服务
18+阅读 · 2020年8月23日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
41+阅读 · 2019年10月9日
相关资讯
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
Top
微信扫码咨询专知VIP会员