Synthetic aperture radar (SAR)-assisted optical cloud removal aims to recover surface information obscured by clouds in optical remote sensing images by exploiting complementary SAR observations. Existing multimodal fusion methods typically rely on direct spatial concatenation and pixel-wise supervision, which can propagate SAR speckle noise into optical reconstruction and lead to over-smoothed results. To address these limitations, we propose an Information Bottleneck-driven High-Fidelity Network (IB-HFN) for SAR-assisted optical cloud removal. IB-HFN employs a dual-stream backbone to preserve modality-specific representations before deep semantic fusion, thereby mitigating premature cross-modal contamination. At the fusion stage, we introduce a Spatial Information Bottleneck Fusion module that compresses SAR features through a channel-wise variational information bottleneck to suppress unstructured speckle noise. In parallel, a local-global gating mechanism predicts clear-sky regions and routes reliable optical details through a Dirac-initialized skip connection, decoupling noise suppression from texture preservation. We further develop a joint optimization strategy that integrates feature-level bottleneck regularization with image-level constraints on reconstruction accuracy, structural consistency, spectral fidelity, and contrastive sharpness. A dynamic weighting schedule balances these objectives to stabilize training and reduce hazy artifacts. Experiments on the SEN12MS-CR dataset under challenging spatio-temporal splits demonstrate that IB-HFN achieves superior structural preservation and spectral fidelity over existing methods.


翻译:合成孔径雷达(SAR)辅助光学云去除旨在利用互补的SAR观测数据,恢复光学遥感图像中被云层遮蔽的地表信息。现有多模态融合方法通常依赖直接的空间拼接和逐像素监督,这会将SAR散斑噪声传播到光学重建中,导致结果过度平滑。为解决这些局限,我们提出了一种信息瓶颈驱动的高保真度网络(IB-HFN),用于SAR辅助光学云去除。IB-HFN采用双流骨干网络,在深度语义融合前保留模态特异性表征,从而减轻过早的跨模态污染。在融合阶段,我们引入空间信息瓶颈融合模块,通过通道变分信息瓶颈压缩SAR特征以抑制非结构化散斑噪声。同时,局部-全局门控机制预测晴空区域,并通过狄拉克初始化跳跃连接传递可靠的光学细节,实现噪声抑制与纹理保持的解耦。我们进一步开发了一种联合优化策略,将特征级瓶颈正则化与图像级重建精度、结构一致性、光谱保真度和对比度锐度约束相结合。动态权重调度平衡这些目标以稳定训练并减少雾状伪影。在SEN12MS-CR数据集上具有挑战性的时空分割下的实验表明,IB-HFN在结构保持与光谱保真度方面优于现有方法。

0
下载
关闭预览

相关内容

SAR干扰技术综述
专知会员服务
18+阅读 · 2024年9月26日
极化SAR图像分类深度学习算法综述
专知会员服务
23+阅读 · 2024年8月21日
基于几何特征的激光雷达地面点云分割
泡泡机器人SLAM
15+阅读 · 2018年4月1日
SAR成像原理及图像鉴赏
无人机
21+阅读 · 2017年8月14日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
3+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
6+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
3+阅读 · 6月17日
相关VIP内容
SAR干扰技术综述
专知会员服务
18+阅读 · 2024年9月26日
极化SAR图像分类深度学习算法综述
专知会员服务
23+阅读 · 2024年8月21日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员