Text-driven infrared and visible image fusion has gained attention for enabling natural language to guide the fusion process. However, existing methods lack a goal-aligned task to supervise and evaluate how effectively the input text contributes to the fusion outcome. We observe that referring image segmentation (RIS) and text-driven fusion share a common objective: highlighting the object referred to by the text. Motivated by this, we propose RIS-FUSION, a cascaded framework that unifies fusion and RIS through joint optimization. At its core is the LangGatedFusion module, which injects textual features into the fusion backbone to enhance semantic alignment. To support multimodal referring image segmentation task, we introduce MM-RIS, a large-scale benchmark with 12.5k training and 3.5k testing triplets, each consisting of an infrared-visible image pair, a segmentation mask, and a referring expression. Extensive experiments show that RIS-FUSION achieves state-of-the-art performance, outperforming existing methods by over 11% in mIoU. Code and dataset will be released at https://github.com/SijuMa2003/RIS-FUSION.


翻译:文本驱动的红外与可见光图像融合技术因能够通过自然语言指导融合过程而受到关注。然而,现有方法缺乏目标对齐的任务来监督和评估输入文本对融合结果的有效贡献程度。我们观察到,参考图像分割(RIS)与文本驱动融合具有共同的目标:突出文本所指向的对象。受此启发,我们提出了RIS-FUSION,一个通过联合优化将融合与RIS统一起来的级联框架。其核心是LangGatedFusion模块,该模块将文本特征注入融合主干网络以增强语义对齐。为了支持多模态参考图像分割任务,我们引入了MM-RIS,这是一个包含12.5k训练和3.5k测试三元组的大规模基准数据集,每个三元组由一对红外-可见光图像、一个分割掩码和一个参考表达式组成。大量实验表明,RIS-FUSION实现了最先进的性能,在mIoU指标上超过现有方法11%以上。代码和数据集将在https://github.com/SijuMa2003/RIS-FUSION发布。

0
下载
关闭预览

相关内容

【CVPR2023】基于文本到图像扩散模型的开放词汇全景分割
基于深度学习的图像融合方法综述
专知会员服务
57+阅读 · 2023年1月25日
本周精选共读论文《计算机视觉图像分割》六篇
人工智能前沿讲习班
10+阅读 · 2019年4月1日
干货|当深度学习遇见自动文本摘要,seq2seq+attention
机器学习算法与Python学习
10+阅读 · 2018年5月28日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
VIP会员
相关VIP内容
【CVPR2023】基于文本到图像扩散模型的开放词汇全景分割
基于深度学习的图像融合方法综述
专知会员服务
57+阅读 · 2023年1月25日
相关资讯
本周精选共读论文《计算机视觉图像分割》六篇
人工智能前沿讲习班
10+阅读 · 2019年4月1日
干货|当深度学习遇见自动文本摘要,seq2seq+attention
机器学习算法与Python学习
10+阅读 · 2018年5月28日
相关基金
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员