Although person re-identification has made impressive progress, occlusion caused by obstacles remains an unsettled issue in real applications. The difficulty lies in the mismatch between incomplete occluded samples and holistic identity representations. Severe occlusion removes discriminative body cues and introduces interference from background clutter and occluders, making global metric learning unreliable. Existing methods mainly rely on extra pre-trained models to estimate visible parts for alignment or construct occluded samples via data augmentation, but still lack a unified framework that learns robust visibility-consistent matching under realistic occlusion patterns. In this paper, we propose DPM++, a Dynamic Masked Metric Learning framework for occluded person re-identification. DPM++ learns an input-adaptive masked metric that dynamically selects reliable identity subspaces for each occluded instance, enabling matching to emphasize visibility-consistent evidence while suppressing unreliable components. Built upon the classifier-prototype space, DPM++ introduces a CLIP-based two-stage supervision scheme, where ID-level semantic priors are learned from the text branch and transferred into the classifier-prototype space for dynamic masked matching. To strengthen the masked metric, we introduce a saliency-guided patch transfer strategy to synthesize controllable and photo-realistic occluded samples during training. Exploiting real scene priors, this strategy exposes the model to realistic partial observations and provides richer supervision than random erasing. In addition, occlusion-aware sample pairing and mask-guided optimization improve the stability and effectiveness of the framework. Experiments on occluded and holistic person re-identification benchmarks show that DPM++ consistently outperforms previous state-of-the-art methods in both holistic and occlusion scenarios.


翻译:尽管行人重识别已取得显著进展,但由障碍物引发的遮挡问题在真实应用中仍未得到妥善解决。其难点在于不完整的遮挡样本与全局身份表征之间的失配。严重遮挡不仅消除了判别性身体部位,还引入了背景杂波和遮挡物的干扰,使得全局度量学习不可靠。现有方法主要依赖额外预训练模型来估计可见部位进行对齐,或通过数据增强构造遮挡样本,但仍缺乏一个统一框架来学习对真实遮挡模式下具有鲁棒可见性一致性的匹配。本文提出DPM++,一种面向遮挡行人重识别的动态掩码度量学习框架。DPM++学习一种输入自适应的掩码度量,为每个遮挡实例动态选择可靠的身份子空间,使匹配过程能够强调可见性一致的证据并抑制不可靠成分。基于分类器-原型空间,DPM++引入了一种基于CLIP的两阶段监督方案,其中ID级语义先验从文本分支中学习,并迁移至分类器-原型空间用于动态掩码匹配。为强化掩码度量,我们提出一种显著性引导的区块迁移策略,在训练中合成可控且照片逼真的遮挡样本。该策略利用真实场景先验,使模型暴露于真实的部分观测场景,并提供比随机擦除更丰富的监督信息。此外,遮挡感知的样本配对与掩码引导优化提升了框架的稳定性与有效性。在遮挡和全局行人重识别基准上的实验表明,DPM++在全局与遮挡场景下均持续超越现有最先进方法。

0
下载
关闭预览

相关内容

智能视频监控关键技术:行人再识别研究综述
专知会员服务
40+阅读 · 2021年12月30日
面向行人重识别的局部特征研究进展、挑战与展望
专知会员服务
27+阅读 · 2021年10月13日
多源数据行人重识别研究综述
专知会员服务
42+阅读 · 2020年11月2日
专知会员服务
38+阅读 · 2020年8月19日
基于深度学习的行人重识别研究进展,自动化学报
专知会员服务
39+阅读 · 2019年12月5日
【未来黑科技】深度玩转行人重识别与跨境追踪
炼数成金订阅号
11+阅读 · 2019年4月18日
【深度】行人检测算法
GAN生成式对抗网络
29+阅读 · 2018年6月3日
独家 | 基于深度学习的行人重识别研究综述
AI科技评论
11+阅读 · 2017年12月20日
行人再识别中的迁移学习
计算机视觉战队
11+阅读 · 2017年12月20日
从人脸识别到行人重识别,下一个风口
计算机视觉战队
13+阅读 · 2017年11月24日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
2+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
6+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
3+阅读 · 6月17日
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员