Pansharpening under thin cloudy conditions is a practically significant yet rarely addressed task, challenged by simultaneous spatial resolution degradation and cloud-induced spectral distortions. Existing methods often address cloud removal and pansharpening sequentially, leading to cumulative errors and suboptimal performance due to the lack of joint degradation modeling. To address these challenges, we propose a Unified Pansharpening Model with Thin Cloud Removal (Pan-TCR), an end-to-end framework that integrates physical priors. Motivated by theoretical analysis in the frequency domain, we design a frequency-decoupled restoration (FDR) block that disentangles the restoration of multispectral image (MSI) features into amplitude and phase components, each guided by complementary degradation-robust prompts: the near-infrared (NIR) band amplitude for cloud-resilient restoration, and the panchromatic (PAN) phase for high-resolution structural enhancement. To ensure coherence between the two components, we further introduce an interactive inter-frequency consistency (IFC) module, enabling cross-modal refinement that enforces consistency and robustness across frequency cues. Furthermore, we introduce the first real-world thin-cloud contaminated pansharpening dataset (PanTCR-GF2), comprising paired clean and cloudy PAN-MSI images, to enable robust benchmarking under realistic conditions. Extensive experiments on real-world and synthetic datasets demonstrate the superiority and robustness of Pan-TCR, establishing a new benchmark for pansharpening under realistic atmospheric degradations.


翻译:薄云条件下的全色锐化是一项具有重要实际意义但鲜有研究的工作,其挑战在于同时存在空间分辨率下降和云层引起的光谱畸变。现有方法通常将云去除与全色锐化分步处理,由于缺乏联合退化建模,导致误差累积和性能欠佳。为解决这些挑战,我们提出了一种集成物理先验的端到端框架——薄云去除统一全色锐化模型(Pan-TCR)。受频域理论分析的启发,我们设计了一种频率解耦复原(FDR)模块,将多光谱图像(MSI)特征的复原解耦为振幅和相位两个分量,每个分量分别由互补的退化鲁棒提示引导:近红外(NIR)波段振幅用于云层鲁棒性复原,全色(PAN)相位用于高分辨率结构增强。为确保两个分量之间的协调性,我们进一步引入了交互式跨频一致性(IFC)模块,通过跨模态细化实现不同频率线索间的一致性与鲁棒性。此外,我们构建了首个真实世界薄云污染全色锐化数据集(PanTCR-GF2),包含成对的洁净与含云PAN-MSI图像,以支持真实条件下的鲁棒基准测试。在真实世界和合成数据集上的大量实验证明了Pan-TCR的优越性和鲁棒性,为真实大气退化条件下的全色锐化确立了新的基准。

0
下载
关闭预览

相关内容

遥感影像云检测和云去除方法综述
专知会员服务
23+阅读 · 2024年6月4日
遥感图像云检测方法综述
专知会员服务
35+阅读 · 2023年1月28日
CVPR 2022 | 基于密度与深度分解的自增强非成对图像去雾
专知会员服务
13+阅读 · 2022年6月30日
专知会员服务
43+阅读 · 2021年8月30日
CVPR 2019 | 无监督领域特定单图像去模糊
PaperWeekly
14+阅读 · 2019年3月20日
基于几何特征的激光雷达地面点云分割
泡泡机器人SLAM
15+阅读 · 2018年4月1日
一文概览基于深度学习的超分辨率重建架构
Deep Image Prior:深度卷积网络先天就理解自然图像
极市平台
10+阅读 · 2017年12月5日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
VIP会员
最新内容
新兴反无人机技术与不对称防御对策
专知会员服务
1+阅读 · 36分钟前
《美空军条令出版物 3-60,目标定位(2026版)》
专知会员服务
1+阅读 · 42分钟前
《无人机在冲突地区提供紧急医疗与外科支持》
专知会员服务
1+阅读 · 今天14:48
《定向能武器交战授权治理管道》
专知会员服务
1+阅读 · 今天14:41
《人工智能与海军作战》最新报告
专知会员服务
1+阅读 · 今天14:00
具身AI安全综述:风险、攻击与防御
专知会员服务
2+阅读 · 今天12:02
DeepSeek 版Claude Code,免费小白安装教程来了!
专知会员服务
13+阅读 · 5月5日
相关VIP内容
遥感影像云检测和云去除方法综述
专知会员服务
23+阅读 · 2024年6月4日
遥感图像云检测方法综述
专知会员服务
35+阅读 · 2023年1月28日
CVPR 2022 | 基于密度与深度分解的自增强非成对图像去雾
专知会员服务
13+阅读 · 2022年6月30日
专知会员服务
43+阅读 · 2021年8月30日
相关基金
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员