Synthetic aperture radar (SAR)-assisted optical cloud removal aims to recover surface information obscured by clouds in optical remote sensing images by exploiting complementary SAR observations. Existing multimodal fusion methods typically rely on direct spatial concatenation and pixel-wise supervision, which can propagate SAR speckle noise into optical reconstruction and lead to over-smoothed results. To address these limitations, we propose an Information Bottleneck-driven High-Fidelity Network (IB-HFN) for SAR-assisted optical cloud removal. IB-HFN employs a dual-stream backbone to preserve modality-specific representations before deep semantic fusion, thereby mitigating premature cross-modal contamination. At the fusion stage, we introduce a Spatial Information Bottleneck Fusion module that compresses SAR features through a channel-wise variational information bottleneck to suppress unstructured speckle noise. In parallel, a local-global gating mechanism predicts clear-sky regions and routes reliable optical details through a Dirac-initialized skip connection, decoupling noise suppression from texture preservation. We further develop a joint optimization strategy that integrates feature-level bottleneck regularization with image-level constraints on reconstruction accuracy, structural consistency, spectral fidelity, and contrastive sharpness. A dynamic weighting schedule balances these objectives to stabilize training and reduce hazy artifacts. Experiments on the SEN12MS-CR dataset under challenging spatio-temporal splits demonstrate that IB-HFN achieves superior structural preservation and spectral fidelity over existing methods.


翻译:合成孔径雷达(SAR)辅助光学云去除旨在利用互补的SAR观测数据,恢复光学遥感图像中被云层遮蔽的地表信息。现有多模态融合方法通常依赖直接的空间拼接和逐像素监督,这会将SAR散斑噪声传播到光学重建中,导致结果过度平滑。为解决这些局限,我们提出了一种信息瓶颈驱动的高保真度网络(IB-HFN),用于SAR辅助光学云去除。IB-HFN采用双流骨干网络,在深度语义融合前保留模态特异性表征,从而减轻过早的跨模态污染。在融合阶段,我们引入空间信息瓶颈融合模块,通过通道变分信息瓶颈压缩SAR特征以抑制非结构化散斑噪声。同时,局部-全局门控机制预测晴空区域,并通过狄拉克初始化跳跃连接传递可靠的光学细节,实现噪声抑制与纹理保持的解耦。我们进一步开发了一种联合优化策略,将特征级瓶颈正则化与图像级重建精度、结构一致性、光谱保真度和对比度锐度约束相结合。动态权重调度平衡这些目标以稳定训练并减少雾状伪影。在SEN12MS-CR数据集上具有挑战性的时空分割下的实验表明,IB-HFN在结构保持与光谱保真度方面优于现有方法。

0
下载
关闭预览

相关内容

SAR干扰技术综述
专知会员服务
18+阅读 · 2024年9月26日
极化SAR图像分类深度学习算法综述
专知会员服务
24+阅读 · 2024年8月21日
基于几何特征的激光雷达地面点云分割
泡泡机器人SLAM
15+阅读 · 2018年4月1日
SAR成像原理及图像鉴赏
无人机
21+阅读 · 2017年8月14日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
最新内容
从采集到决策:美军视角下的战术情报范式重构
专知会员服务
3+阅读 · 今天2:42
《履带式无人地面战车技术发展现状》
专知会员服务
2+阅读 · 今天1:46
《无人机脆弱性利用:网络空间力量的新域》
专知会员服务
2+阅读 · 8月1日
美空军如何将人工智能从战场部署至后方机关
专知会员服务
11+阅读 · 7月31日
《史诗怒火行动:多域前瞻评估》49页报告
专知会员服务
8+阅读 · 7月31日
《英国防部:未来空战系统数字化战略》33页
专知会员服务
5+阅读 · 7月31日
《面向自主飞行网络的智能体人工智能架构》
专知会员服务
8+阅读 · 7月31日
相关VIP内容
SAR干扰技术综述
专知会员服务
18+阅读 · 2024年9月26日
极化SAR图像分类深度学习算法综述
专知会员服务
24+阅读 · 2024年8月21日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员