Infrared and visible (IR-VIS) image fusion has gained significant attention for its broad application value. However, existing methods often neglect the complementary role of infrared image in restoring visible image features under hazy conditions. To address this, we propose a joint learning framework that utilizes infrared image for the restoration and fusion of hazy IR-VIS images. To mitigate the adverse effects of feature diversity between IR-VIS images, we introduce a prompt generation mechanism that regulates modality-specific feature incompatibility. This creates a prompt selection matrix from non-shared image information, followed by prompt embeddings generated from a prompt pool. These embeddings help generate candidate features for dehazing. We further design an infrared-assisted feature restoration mechanism that selects candidate features based on haze density, enabling simultaneous restoration and fusion within a single-stage framework. To enhance fusion quality, we construct a multi-stage prompt embedding fusion module that leverages feature supplementation from the prompt generation module. Our method effectively fuses IR-VIS images while removing haze, yielding clear, haze-free fusion results. In contrast to two-stage methods that dehaze and then fuse, our approach enables collaborative training in a single-stage framework, making the model relatively lightweight and suitable for practical deployment. Experimental results validate its effectiveness and demonstrate advantages over existing methods. The source code of the paper is available at \href{https://github.com/fangjiaqi0909/IASSF}{\textcolor{blue}{https://github.com/fangjiaqi0909/IASSF


翻译:红外与可见光图像融合因其广泛的应用价值而受到极大关注。然而,现有方法往往忽略了在雾霾条件下红外图像对可见光图像特征复原的互补作用。为此,我们提出一种联合学习框架,利用红外图像对雾霾条件下的红外-可见光图像进行复原与融合。为缓解红外与可见光图像间特征差异带来的不利影响,我们引入一种提示生成机制,用以调节模态特定的特征不兼容性。该机制从非共享的图像信息中创建提示选择矩阵,随后从提示池中生成提示嵌入。这些嵌入有助于生成去雾的候选特征。我们进一步设计了一种红外辅助的特征复原机制,该机制根据雾霾密度选择候选特征,从而在单阶段框架内实现同步复原与融合。为提升融合质量,我们构建了一个多阶段提示嵌入融合模块,该模块利用来自提示生成模块的特征补充。我们的方法在有效融合红外与可见光图像的同时去除雾霾,生成清晰、无雾的融合结果。与先去雾再融合的两阶段方法相比,我们的方法支持在单阶段框架内进行协同训练,使得模型相对轻量,适合实际部署。实验结果验证了其有效性,并展示了相较于现有方法的优势。本文源代码可在 \href{https://github.com/fangjiaqi0909/IASSF}{\textcolor{blue}{https://github.com/fangjiaqi0909/IASSF}} 获取。

0
下载
关闭预览

相关内容

遥感影像云检测和云去除方法综述
专知会员服务
23+阅读 · 2024年6月4日
基于深度学习的图像融合方法综述
专知会员服务
57+阅读 · 2023年1月25日
最新《 深度学习时代的低光图像增强》综述论文,
专知会员服务
38+阅读 · 2021年4月30日
图像修复研究进展综述
专知
20+阅读 · 2021年3月9日
专家报告|深度学习+图像多模态融合
中国图象图形学报
12+阅读 · 2019年10月23日
红外弱小目标处理研究获进展
中科院之声
18+阅读 · 2017年11月19日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
VIP会员
最新内容
人工智能赋能无人机:俄乌战争(万字长文)
专知会员服务
5+阅读 · 今天6:56
国外海军作战管理系统与作战训练系统
专知会员服务
2+阅读 · 今天4:16
美军条令《海军陆战队规划流程(2026版)》
专知会员服务
10+阅读 · 今天3:36
《压缩式分布式交互仿真标准》120页
专知会员服务
4+阅读 · 今天3:21
《电子战数据交换模型研究报告》
专知会员服务
6+阅读 · 今天3:13
《基于Transformer的异常舰船导航识别与跟踪》80页
《低数据领域军事目标检测模型研究》
专知会员服务
6+阅读 · 今天2:37
【CMU博士论文】物理世界的视觉感知与深度理解
专知会员服务
10+阅读 · 4月22日
相关VIP内容
遥感影像云检测和云去除方法综述
专知会员服务
23+阅读 · 2024年6月4日
基于深度学习的图像融合方法综述
专知会员服务
57+阅读 · 2023年1月25日
最新《 深度学习时代的低光图像增强》综述论文,
专知会员服务
38+阅读 · 2021年4月30日
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员