Pansharpening aims to generate high-resolution multispectral (HRMS) images by fusing low-resolution multispectral (LRMS) and panchromatic (PAN) observations. Most existing deep learning methods treat pansharpening as fixed-grid prediction, which limits scale adaptation. To address this, we propose GSPan, a framework that introduces 2D Gaussian Splatting (GS) into pansharpening. Instead of directly predicting pixels, GSPan represents band-wise residual details as continuous and learnable 2D Gaussian primitives. We design a Dual-Stream Hierarchical Interaction (DSHI) architecture with a Spatial-Spectral Interactive Attention (SSIA) module to estimate these primitives from complementary PAN and MS observations. The predicted primitives are rendered as a residual detail field and injected into the upsampled MS image. This continuous representation allows GSPan to render fused images on arbitrary target sampling grids without scale-specific retraining. It further enables a Scale-Decoupled Asymmetric Inference (SDAI) strategy, which estimates primitives at a reduced resolution and renders the fused image at the target resolution for efficient large-scene pansharpening. Experiments on QuickBird, GaoFen-2, WorldView-3, and WorldView-3-4K datasets show that GSPan delivers state-of-the-art fusion performance. Moreover, SDAI markedly accelerates inference, achieving a favorable trade-off between computational efficiency and fusion quality. Our results demonstrate the potential of continuous Gaussian residual representations as a flexible and scale-decoupled alternative to fixed-grid prediction.


翻译:全色锐化旨在通过融合低分辨率多光谱(LRMS)与全色(PAN)观测数据,生成高分辨率多光谱(HRMS)图像。现有深度学习方法大多将全色锐化视为固定网格预测,限制了其尺度适应能力。为此,本文提出GSPan框架,将二维高斯泼溅(2D Gaussian Splatting, GS)引入全色锐化。不同于直接预测像素,GSPan将逐波段残差细节表示为连续且可学习的二维高斯基元。我们设计了包含空间-光谱交互注意力(SSIA)模块的双流分层交互(DSHI)架构,从互补的PAN与MS观测中估计这些基元。预测的基元被渲染为残差细节场,并注入到上采样的MS图像中。这种连续表示使GSPan无需针对特定尺度重新训练,即可在任意目标采样网格上渲染融合图像。此外,该方法支持一种尺度解耦非对称推理(SDAI)策略,即先以降分辨率估计基元,再在目标分辨率下渲染融合图像,从而实现高效的大场景全色锐化。在QuickBird、GaoFen-2、WorldView-3及WorldView-3-4K数据集上的实验表明,GSPan达到了最先进的融合性能。同时,SDAI显著加速了推理过程,在计算效率与融合质量之间实现了良好的权衡。实验结果证明了连续高斯残差表示作为灵活且尺度解耦的固定网格预测替代方案的潜力。

0
下载
关闭预览

相关内容

综述|学习式3D表征最新进展与趋势
专知会员服务
11+阅读 · 6月5日
【新书】Essential GraphRAG: 知识图谱增强的RAG
专知会员服务
35+阅读 · 2025年7月17日
图增强生成(GraphRAG)
专知会员服务
35+阅读 · 2025年1月4日
【CMU博士论文】高斯表示的可微渲染和优化,198页pdf
专知会员服务
27+阅读 · 2023年10月5日
深度多模态表示学习综述论文,22页pdf
专知
33+阅读 · 2020年6月21日
AmpliGraph:知识图谱表示学习工具包
专知
40+阅读 · 2019年4月6日
详解GAN的谱归一化(Spectral Normalization)
PaperWeekly
11+阅读 · 2019年2月13日
换个角度看GAN:另一种损失函数
机器之心
16+阅读 · 2019年1月1日
国家自然科学基金
5+阅读 · 2017年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
VIP会员
最新内容
机器的崛起:美海军陆战队组建机器人营思考
专知会员服务
5+阅读 · 9月8日
无面之战:人工智能如何重绘权力版图
专知会员服务
3+阅读 · 9月8日
《最强大的军事网状网络》
专知会员服务
9+阅读 · 9月7日
《预测陆军征兵任务分配》110页
专知会员服务
7+阅读 · 9月7日
相关基金
国家自然科学基金
5+阅读 · 2017年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员