Remote sensing (RS) imaging is constrained by hardware cost and physical limitations, making high-quality image acquisition challenging and motivating image fusion for quality enhancement. Multi-frame super-resolution (MFSR) and Pansharpening exploit complementary information from multiple frames and multiple sources, respectively, but are usually studied in isolation: MFSR lacks high-resolution structural priors for fine-grained texture recovery, while Pansharpening depends on upsampled multispectral images and is sensitive to noise and misalignment. With the rapid development of the Satellite Internet of Things (Sat-IoT), effectively leveraging large numbers of low-quality yet information-complementary images has become increasingly important. To this end, we propose SatFusion, a unified framework for enhancing RS images via joint multi-frame and multi-source fusion. SatFusion employs a Multi-Frame Image Fusion (MFIF) module to extract high-resolution semantic features from multiple low-resolution multispectral frames, and integrates fine-grained structural information from a high-resolution panchromatic image through a Multi-Source Image Fusion (MSIF) module, enabling robust feature integration with implicit pixel-level alignment. To further mitigate the lack of structural priors in multi-frame fusion, we introduce SatFusion*, which incorporates a panchromatic-guided mechanism into the multi-frame fusion stage. By combining structure-aware feature embedding with transformer-based adaptive aggregation, SatFusion* enables spatially adaptive selection of multi-frame features and strengthens the coupling between multi-frame and multi-source representations. Extensive experiments on the WorldStrat, WV3, QB, and GF2 datasets demonstrate that our methods consistently outperform existing approaches in terms of reconstruction quality, robustness, and generalizability.


翻译:遥感成像受硬件成本和物理限制的约束,使得高质量图像获取具有挑战性,从而推动了旨在提升质量的图像融合技术。多帧超分辨率与全色锐化分别利用了来自多帧图像和多源图像的互补信息,但通常被孤立研究:多帧超分辨率缺乏用于细粒度纹理恢复的高分辨率结构先验,而全色锐化依赖于上采样的多光谱图像,并对噪声和配准误差敏感。随着卫星物联网的快速发展,有效利用大量质量较低但信息互补的图像变得日益重要。为此,我们提出了SatFusion,一个通过联合多帧与多源融合来增强遥感图像的统一框架。SatFusion采用一个多帧图像融合模块从多个低分辨率多光谱帧中提取高分辨率语义特征,并通过一个多源图像融合模块整合来自高分辨率全色图像的细粒度结构信息,实现了具有隐式像素级对齐的鲁棒特征融合。为了进一步缓解多帧融合中结构先验的缺乏,我们引入了SatFusion*,它将一个全色图像引导的机制融入到多帧融合阶段。通过将结构感知的特征嵌入与基于Transformer的自适应聚合相结合,SatFusion*实现了对多帧特征的空间自适应选择,并加强了多帧与多源表示之间的耦合。在WorldStrat、WV3、QB和GF2数据集上进行的大量实验表明,我们的方法在重建质量、鲁棒性和泛化能力方面始终优于现有方法。

0
下载
关闭预览

相关内容

《遥感基础模型研究综述:从视觉到多模态的演进》
专知会员服务
18+阅读 · 2025年3月31日
多模态遥感图像配准方法研究综述
专知会员服务
19+阅读 · 2024年7月20日
一文详解50多种多模态图像融合方法
专知会员服务
48+阅读 · 2024年4月6日
「多模态遥感图像匹配方法」最新研究综述
专知会员服务
33+阅读 · 2023年4月7日
基于深度学习的图像融合方法综述
专知会员服务
57+阅读 · 2023年1月25日
数据受限条件下的多模态处理技术综述
专知
22+阅读 · 2022年7月16日
专家报告|深度学习+图像多模态融合
中国图象图形学报
12+阅读 · 2019年10月23日
基于深度学习的图像超分辨率最新进展与趋势【附PDF】
人工智能前沿讲习班
15+阅读 · 2019年2月27日
深度学习之图像超分辨重建技术
机器学习研究会
12+阅读 · 2018年3月24日
一文概览基于深度学习的超分辨率重建架构
干货|全景视频拼接的关键技术分析
全球人工智能
13+阅读 · 2017年7月15日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
相关VIP内容
相关基金
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员