Pansharpening fuses a high-resolution PAN image with a low-resolution multispectral (LRMS) image to produce an HRMS image. A key difficulty is that jointly processing PAN and MS often entangles spatial detail with spectral fidelity. We propose S2WMamba, which explicitly disentangles frequency information and then performs lightweight cross-modal interaction. Concretely, a 2D Haar DWT is applied to PAN to localize spatial edges and textures, while a channel-wise 1D Haar DWT treats each pixel's spectrum as a 1D signal to separate low/high-frequency components and limit spectral distortion. The resulting Spectral branch injects wavelet-extracted spatial details into MS features, and the Spatial branch refines PAN features using spectra from the 1D pyramid; the two branches exchange information through Mamba-based cross-modulation that models long-range dependencies with linear complexity. A multi-scale dynamic gate (multiplicative + additive) then adaptively fuses branch outputs.On WV3, GF2, and QB, S2WMamba matches or surpasses recent strong baselines (FusionMamba, CANNet, U2Net, ARConv), improving PSNR by up to 0.23 dB and reaching HQNR 0.956 on full-resolution WV3. Ablations justify the choice of 2D/1D DWT placement, parallel dual branches, and the fusion gate. Our code is available at https://github.com/KagUYa66/S2WMamba.


翻译:全色锐化旨在将高分辨率全色图像与低分辨率多光谱图像融合,以生成高分辨率多光谱图像。一个关键难点在于,联合处理全色与多光谱图像时,空间细节与光谱保真度常相互纠缠。本文提出S2WMamba模型,其显式解耦频率信息,随后执行轻量级跨模态交互。具体而言,对全色图像应用二维哈尔离散小波变换以定位空间边缘与纹理,同时对每个像素的光谱作为一维信号进行通道级一维哈尔离散小波变换,以分离高低频分量并限制光谱失真。由此产生的光谱分支将小波提取的空间细节注入多光谱特征中,而空间分支则利用一维金字塔的光谱信息细化全色特征;两个分支通过基于Mamba的跨调制模块交换信息,该模块以线性复杂度建模长程依赖关系。随后,一个多尺度动态门(乘法与加法组合)自适应地融合分支输出。在WV3、GF2和QB数据集上,S2WMamba达到或超越了近期强基线模型(FusionMamba、CANNet、U2Net、ARConv)的性能,峰值信噪比提升最高达0.23 dB,并在全分辨率WV3数据上实现了0.956的高质量无参考指标。消融实验验证了二维/一维离散小波变换布局、并行双分支结构及融合门设计的有效性。代码已开源:https://github.com/KagUYa66/S2WMamba。

0
下载
关闭预览

相关内容

《图Mamba》最新综述,探索图学习中的状态空间模型
专知会员服务
31+阅读 · 2024年12月26日
《视觉中的Mamba:技术与应用》全面综述
专知会员服务
37+阅读 · 2024年10月7日
专家报告|深度学习+图像多模态融合
中国图象图形学报
12+阅读 · 2019年10月23日
Deformable Kernels,用于图像/视频去噪,即将开源
极市平台
13+阅读 · 2019年8月29日
详解GAN的谱归一化(Spectral Normalization)
PaperWeekly
11+阅读 · 2019年2月13日
一文概览基于深度学习的超分辨率重建架构
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员