视觉基础模型(Vision Foundation Models,VFMs)与视觉语言模型(Vision-Language Models,VLMs)因其强大的泛化能力,在**跨领域语义分割(Domain Generalized Semantic Segmentation,DGSS)**任务中获得了广泛关注[^1]。然而,现有的 DGSS 方法通常仅依赖 VFMs 或 VLMs 中的一类,忽视了二者的互补优势。 VFMs(如 DINOv2)在捕捉细粒度特征方面表现优异,而 VLMs(如 CLIP)在文本对齐方面具有强大的鲁棒性,但在处理粗粒度信息时则存在一定困难。尽管它们在能力上互为补充,但利用注意力机制将 VFMs 与 VLMs 有效融合仍具有挑战性,因为更大量的 patch token 会加剧长序列建模的复杂性。 为了解决这一问题,我们提出了 MFuser——一种基于 Mamba 的新型融合框架,能够高效整合 VFMs 与 VLMs 的优势,并在序列长度上保持线性扩展性。MFuser 包含两个关键模块: * MVFuser:一个协同适配器(co-adapter),通过捕捉时序与空间动态,实现对两个模型的联合微调; * MTEnhancer:一个融合注意力机制与 Mamba 的模块,通过引入图像先验来优化文本嵌入表示。

我们的方法在实现精准的特征定位与强文本对齐能力的同时,并未带来显著的计算开销。大量实验证明,MFuser 在多个基准任务上显著优于当前最先进的 DGSS 方法:在合成到真实场景(synthetic-to-real)上取得 68.20 mIoU,在真实到真实场景(real-to-real)上取得 71.87 mIoU 的优异成绩。 项目代码已开源,地址:https://github.com/devinxzhang/MFuser

成为VIP会员查看完整内容
17

相关内容

【AAAI2025教程】基础模型与具身智能体的交汇,350页ppt
专知会员服务
55+阅读 · 2025年3月19日
【CVPR2022】基于样例查询机制的在线动作检测
专知会员服务
10+阅读 · 2022年3月23日
专知会员服务
16+阅读 · 2021年8月2日
【ACL2020】多模态信息抽取,365页ppt
专知会员服务
151+阅读 · 2020年7月6日
Caffe 深度学习框架上手教程
黑龙江大学自然语言处理实验室
14+阅读 · 2016年6月12日
国家自然科学基金
18+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Arxiv
24+阅读 · 2024年2月23日
A Survey of Large Language Models
Arxiv
501+阅读 · 2023年3月31日
Arxiv
69+阅读 · 2022年9月7日
Arxiv
18+阅读 · 2021年3月16日
Augmentation for small object detection
Arxiv
13+阅读 · 2019年2月19日
VIP会员
最新内容
2025年大语言模型进展报告
专知会员服务
8+阅读 · 4月25日
多智能体协作机制
专知会员服务
8+阅读 · 4月25日
非对称优势:美海军开发低成本反无人机技术
专知会员服务
9+阅读 · 4月25日
《美战争部小企业创新研究(SBIR)计划》
专知会员服务
8+阅读 · 4月25日
《军事模拟:将军事条令与目标融入AI智能体》
专知会员服务
12+阅读 · 4月25日
【NTU博士论文】3D人体动作生成
专知会员服务
9+阅读 · 4月24日
以色列军事技术对美国军力发展的持续性赋能
专知会员服务
9+阅读 · 4月24日
《深度强化学习在兵棋推演中的应用》40页报告
专知会员服务
16+阅读 · 4月24日
《多域作战面临复杂现实》
专知会员服务
13+阅读 · 4月24日
《印度的多域作战:条令与能力发展》报告
专知会员服务
6+阅读 · 4月24日
相关基金
国家自然科学基金
18+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
相关论文
微信扫码咨询专知VIP会员