Multi-modal vehicle Re-Identification (ReID) aims to leverage complementary information from RGB, Near Infrared (NIR), and Thermal Infrared (TIR) modalities to retrieve the same vehicle. The challenges of multi-modal vehicle ReID arise from the uncertainty of modality quality distribution induced by inherent discrepancies across modalities, resulting in distinct conflicting fusion requirements for data with balanced and unbalanced quality distributions. Existing methods handle all multi-modal data within a single fusion model, overlooking the different needs of the two data types and making it difficult to decouple the conflict between intra-class consistency and inter-modal heterogeneity. To this end, we propose Disentangle Collaboration and Guidance Fusion Representations for Multi-modal Vehicle ReID (DCG-ReID). Specifically, to disentangle heterogeneous quality-distributed modal data without mutual interference, we first design the Dynamic Confidence-based Disentangling Weighting (DCDW) mechanism: dynamically reweighting three-modal contributions via interaction-derived modal confidence to build a disentangled fusion framework. Building on DCDW, we develop two scenario-specific fusion strategies: (1) for balanced quality distributions, Collaboration Fusion Module (CFM) mines pairwise consensus features to capture shared discriminative information and boost intra-class consistency; (2) for unbalanced distributions, Guidance Fusion Module (GFM) implements differential amplification of modal discriminative disparities to reinforce dominant modality advantages, guide auxiliary modalities to mine complementary discriminative info, and mitigate inter-modal divergence to boost multi-modal joint decision performance. Extensive experiments on three multi-modal ReID benchmarks (WMVeID863, MSVR310, RGBNT100) validate the effectiveness of our method. Code will be released upon acceptance.


翻译:多模态车辆重识别旨在综合利用RGB、近红外与热红外模态的互补信息,以实现对同一车辆的检索。多模态车辆重识别的挑战源于模态间固有差异所引发的模态质量分布不确定性,导致质量分布均衡与非均衡数据存在截然不同的融合需求。现有方法通常在单一融合模型中处理所有多模态数据,忽视了两类数据的不同需求,难以解耦类内一致性与模态间异质性之间的冲突。为此,我们提出面向多模态车辆重识别的解耦协作与引导融合表征方法。具体而言,为在无相互干扰的前提下解耦异质质量分布的模态数据,我们首先设计了动态置信解耦加权机制:通过交互衍生的模态置信度动态重加权三模态贡献,构建解耦融合框架。基于此机制,我们开发了两种场景化融合策略:(1)针对质量分布均衡的数据,协作融合模块挖掘成对共识特征以捕获共享判别性信息,增强类内一致性;(2)针对分布不均衡的数据,引导融合模块实施模态判别差异的差异化放大,以强化主导模态优势,引导辅助模态挖掘互补判别信息,并缓解模态间差异以提升多模态联合决策性能。在三个多模态重识别基准数据集上的大量实验验证了本方法的有效性。代码将在论文录用后公开。

0
下载
关闭预览

相关内容

【AAAI2025】TimeDP:通过领域提示学习生成多领域时间序列
【CVPR2022】MSDN: 零样本学习的互语义蒸馏网络
专知会员服务
21+阅读 · 2022年3月8日
国家自然科学基金
17+阅读 · 2017年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
17+阅读 · 2017年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员