Unified hyperspectral image (HSI) restoration aims to recover various degraded HSIs using a single model, offering great practical value. However, existing methods often depend on explicit degradation priors (e.g., degradation labels) as prompts to guide restoration, which are difficult to obtain due to complex and mixed degradations in real-world scenarios. To address this challenge, we propose a Degradation-Aware Metric Prompting (DAMP) framework. Instead of relying on predefined degradation priors, we design spatial-spectral degradation metrics to continuously quantify multi-dimensional degradations, serving as Degradation Prompts (DP). These DP enable the model to capture cross-task similarities in degradation distributions and enhance shared feature learning. Furthermore, we introduce a Spatial-Spectral Adaptive Module (SSAM) that dynamically modulates spatial and spectral feature extraction through learnable parameters. By integrating SSAM as experts within a Mixture-of-Experts architecture, and using DP as the gating router, the framework enables adaptive, efficient, and robust restoration under diverse, mixed, or unseen degradations. Extensive experiments on natural and remote sensing HSI datasets show that DAMP achieves state-of-the-art performance and demonstrates exceptional generalization capability. Code is publicly available at https://github.com/MiliLab/DAMP.


翻译:统一的高光谱图像(HSI)复原旨在使用单一模型恢复各种退化的HSI,具有重要的实用价值。然而,现有方法通常依赖显式的退化先验(如退化标签)作为提示来指导复原,这些先验由于现实场景中复杂且混合的退化而难以获取。为解决这一挑战,我们提出了一个退化感知度量提示(DAMP)框架。我们不再依赖预定义的退化先验,而是设计了空间-光谱退化度量来连续量化多维退化,作为退化提示(DP)。这些DP使模型能够捕捉退化分布中的跨任务相似性,并增强共享特征学习。此外,我们引入了一个空间-光谱自适应模块(SSAM),该模块通过可学习参数动态调制空间和光谱特征提取。通过将SSAM作为专家集成到混合专家架构中,并使用DP作为门控路由器,该框架能够在多样、混合或未见过的退化条件下实现自适应、高效且鲁棒的复原。在自然和遥感HSI数据集上的大量实验表明,DAMP实现了最先进的性能,并展现出卓越的泛化能力。代码公开于 https://github.com/MiliLab/DAMP。

0
下载
关闭预览

相关内容

【TPAMI2024】增强视频-语言表示的结构时空对齐方法
专知会员服务
24+阅读 · 2024年6月30日
【CVPR2024】ViewDiff: 3D一致的图像生成与文本到图像模型
专知会员服务
30+阅读 · 2024年3月10日
AAAI 2022 | ProtGNN:自解释图神经网络
专知
10+阅读 · 2022年2月28日
【NeurIPS2019】图变换网络:Graph Transformer Network
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
VIP会员
相关基金
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员