Leveraging Multimodal Large Language Models (MLLMs) has become pivotal for advancing Universal Multimodal Embeddings (UME) in addressing diverse cross-modal tasks. Recent studies demonstrate that incorporating generative Chain-of-Thought (CoT) reasoning can substantially enhance task-specific representations compared to discriminative methods. However, the generated reasoning CoTs of existing generative embedding methods are limited to the textual analysis of queries and are irrelevant to the retrieval of the targets. To address these limitations, we propose a reasoning-driven UME framework that integrates Embedder-Guided Reinforcement Learning (EG-RL) to optimize the Reasoner to produce evidential Traceability CoT (T-CoT). Our key contributions are threefold: (1) We design an EG-RL framework where the Embedder provides explicit supervision to the Reasoner, ensuring the generated CoT traces are aligned with embedding tasks. (2) We introduce T-CoT, which extracts critical multimodal cues to focus on retrieval-relevant elements and provides multimodal inputs for the Embedder. (3) With limited computational resources, our framework outperforms the pioneering embedding model on both MMEB-V2 and UVRB benchmarks. The integration of multimodal evidence in structured reasoning, paired with retrieval-oriented alignment, effectively strengthens cross-modal semantic consistency and boosts the fine-grained matching capability of the model as well as the generalization across complex scenarios. Our work demonstrates that targeted reasoning optimization can significantly improve multimodal embedding quality, providing a practical and efficient solution for reasoning-driven UME development.


翻译:利用多模态大语言模型(MLLMs)已成为推进通用多模态嵌入(UME)以应对多样化跨模态任务的关键。近期研究表明,相较于判别式方法,融入生成式思维链(CoT)推理能显著增强任务特定的表征。然而,现有生成式嵌入方法所产生的推理CoT仅限于对查询的文本分析,且与目标检索无关。为应对这些局限,我们提出一种推理驱动的UME框架,该框架集成嵌入器引导的强化学习(EG-RL)以优化推理器,从而生成具备证据的可追溯性思维链(T-CoT)。我们的主要贡献包括三个方面:(1)我们设计了一个EG-RL框架,其中嵌入器为推理器提供显式监督,确保生成的CoT轨迹与嵌入任务对齐。(2)我们引入了T-CoT,它提取关键的多模态线索以聚焦于检索相关元素,并为嵌入器提供多模态输入。(3)在有限的计算资源下,我们的框架在MMEB-V2和UVRB基准测试中均优于先前的嵌入模型。通过将多模态证据融入结构化推理,并结合面向检索的对齐机制,有效增强了跨模态语义一致性,提升了模型的细粒度匹配能力以及在复杂场景下的泛化性能。我们的工作表明,有针对性的推理优化能显著提升多模态嵌入质量,为推理驱动的UME发展提供了一个实用且高效的解决方案。

0
下载
关闭预览

相关内容

从感知到推理:深度思考赋能多模态大语言模型
专知会员服务
24+阅读 · 2025年11月19日
多模态推理的基础、方法与未来前沿
专知会员服务
27+阅读 · 2025年7月6日
强化多模态大语言模型:基于强化学习的推理综述
专知会员服务
35+阅读 · 2025年5月3日
多模态思维链推理:全面综述
专知会员服务
60+阅读 · 2025年3月23日
【AAAI2024】KAM-CoT: 知识增强的多模态思维链推理
专知会员服务
45+阅读 · 2024年1月24日
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
42+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
VIP会员
相关VIP内容
相关基金
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
42+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员