Optical remote sensing imagery is indispensable for Earth observation, yet persistent cloud occlusion limits its downstream utility. Most cloud removal (CR) methods are optimized for low-level fidelity and can over-smooth textures and boundaries that are critical for analysis-ready data (ARD), leading to a mismatch between visually plausible restoration and semantic utility. To bridge this gap, we propose TDP-CR, a task-driven multimodal framework that jointly performs cloud removal and land-cover segmentation. Central to our approach is a Prompt-Guided Fusion (PGF) mechanism, which utilizes a learnable degradation prompt to encode cloud thickness and spatial uncertainty. By combining global channel context with local prompt-conditioned spatial bias, PGF adaptively integrates Synthetic Aperture Radar (SAR) information only where optical data is corrupted. We further introduce a parameter-efficient two-phase training strategy that decouples reconstruction and semantic representation learning. Experiments on the LuojiaSET-OSFCR dataset demonstrate the superiority of our framework: TDP-CR surpasses heavy state-of-the-art baselines by 0.18 dB in PSNR while using only 15\% of the parameters, and achieves a 1.4\% improvement in mIoU consistently against multi-task competitors, effectively delivering analysis-ready data.


翻译:光学遥感影像对地球观测至关重要,但持续的云层遮挡限制了其下游应用。大多数云去除(CR)方法优化目标是低级保真度,可能过度平滑对分析就绪数据(ARD)至关重要的纹理和边界,导致视觉上看似合理的恢复与语义实用性之间存在不匹配。为弥合这一差距,我们提出TDP-CR,一种任务驱动的多模态框架,可同时执行云去除和土地覆盖分割。我们的核心是提示引导融合(PGF)机制,它利用可学习的退化提示编码云厚度和空间不确定性。通过结合全局通道上下文与局部提示条件空间偏置,PGF仅在光学数据受损处自适应整合合成孔径雷达(SAR)信息。我们进一步引入参数高效的两阶段训练策略,将重建和语义表示学习解耦。在LuojiaSET-OSFCR数据集上的实验证明了我们框架的优越性:TDP-CR在仅使用15%参数的情况下,PSNR超越最先进的重基线模型0.18 dB,并在多任务对比中持续提升mIoU 1.4%,有效生成分析就绪数据。

0
下载
关闭预览

相关内容

稀疏点云感知的表示学习
专知会员服务
9+阅读 · 2月9日
CVPR 2022 | 点云分割的对比边界学习
专知会员服务
16+阅读 · 2022年4月30日
最新《多任务学习》综述,39页pdf
专知
28+阅读 · 2020年7月10日
深度学习时代的图模型,清华发文综述图网络
GAN生成式对抗网络
13+阅读 · 2018年12月23日
一文概览基于深度学习的超分辨率重建架构
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
VIP会员
相关主题
最新内容
机器的崛起:美海军陆战队组建机器人营思考
专知会员服务
5+阅读 · 9月8日
无面之战:人工智能如何重绘权力版图
专知会员服务
3+阅读 · 9月8日
《最强大的军事网状网络》
专知会员服务
9+阅读 · 9月7日
《预测陆军征兵任务分配》110页
专知会员服务
7+阅读 · 9月7日
相关VIP内容
稀疏点云感知的表示学习
专知会员服务
9+阅读 · 2月9日
CVPR 2022 | 点云分割的对比边界学习
专知会员服务
16+阅读 · 2022年4月30日
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员