Hyperspectral imaging (HSI) captures detailed spectral signatures across hundreds of contiguous bands per pixel, being indispensable for remote sensing applications such as land-cover classification, change detection, and environmental monitoring. Due to the high dimensionality of HSI data and the slow rate of data transfer in satellite-based systems, compact and efficient models are required to support onboard processing and minimize the transmission of redundant or low-value data. To this end, we introduce a novel curriculum multi-task self-supervised learning (CMTSSL) framework designed for lightweight architectures for HSI analysis. CMTSSL integrates masked image modeling with decoupled spatial and spectral jigsaw puzzle solving, guided by a curriculum learning strategy that progressively increases data difficulty during self-supervision. This enables the encoder to jointly capture fine-grained spectral continuity, spatial structure, and global semantic features. Unlike prior dual-task SSL methods, CMTSSL simultaneously addresses spatial and spectral reasoning within a unified and computationally efficient design, being particularly suitable for training lightweight models for onboard satellite deployment. We validate our approach on four public benchmark datasets, demonstrating consistent gains in downstream segmentation tasks, using architectures that are over 16,000x lighter than some state-of-the-art models. These results highlight the potential of CMTSSL in generalizable representation learning with lightweight architectures for real-world HSI applications. Our code is publicly available at https://github.com/hugocarlesso/CMTSSL.


翻译:高光谱成像(HSI)通过每个像素数百个连续波段捕获详细的光谱特征,对于土地覆盖分类、变化检测和环境监测等遥感应用不可或缺。由于HSI数据的高维特性以及星载系统数据传输速率较低,需要紧凑高效的模型以支持星上处理并最小化冗余或低价值数据的传输。为此,我们提出了一种专为HSI分析轻量级架构设计的新型课程式多任务自监督学习(CMTSSL)框架。CMTSSL将掩码图像建模与解耦的空间及光谱拼图求解相结合,并通过课程学习策略引导,在自监督过程中逐步增加数据难度。这使得编码器能够同时捕获细粒度光谱连续性、空间结构和全局语义特征。与先前的双任务自监督学习方法不同,CMTSSL在统一且计算高效的设计中同时处理空间与光谱推理,特别适用于训练面向星载部署的轻量级模型。我们在四个公共基准数据集上验证了该方法,使用比某些先进模型轻16,000倍以上的架构,在下游分割任务中展现出持续的性能提升。这些结果凸显了CMTSSL在面向实际HSI应用的轻量级架构可泛化表征学习中的潜力。我们的代码公开于https://github.com/hugocarlesso/CMTSSL。

0
下载
关闭预览

相关内容

高光谱异常检测方法:综述与比较研究
专知会员服务
7+阅读 · 2025年7月11日
光学遥感图像目标检测数据集综述
专知会员服务
31+阅读 · 2024年3月29日
基于图神经网络的高光谱图像分类研究进展
专知会员服务
31+阅读 · 2023年10月8日
专知会员服务
33+阅读 · 2021年7月26日
学者推荐 | 深度学习与高光谱图像分类【内含PPT 福利】
中国图象图形学报
10+阅读 · 2019年12月3日
专家报告|高光谱遥感信息提取方法
中国图象图形学报
12+阅读 · 2019年7月14日
基于深度学习的图像超分辨率最新进展与趋势【附PDF】
人工智能前沿讲习班
15+阅读 · 2019年2月27日
深度学习图像超分辨率最新综述:从模型到应用
炼数成金订阅号
65+阅读 · 2019年2月20日
半监督多任务学习:Semisupervised Multitask Learning
我爱读PAMI
18+阅读 · 2018年4月29日
一文概览基于深度学习的超分辨率重建架构
国家自然科学基金
1+阅读 · 2016年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
1+阅读 · 2016年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员