Gait recognition has emerged as a robust biometric modality due to its non-intrusive nature. Conventional gait recognition methods mainly rely on silhouettes or skeletons. While effective in controlled laboratory settings, their limited information entropy restricts generalization to real-world scenarios. To overcome this, we propose a novel representation called \textbf{Parsing Skeleton}, which uses a skeleton-guided human parsing method to capture fine-grained body dynamics with much higher information entropy. To effectively explore the capability of the Parsing Skeleton, we also introduce \textbf{PSGait}, a framework that fuses Parsing Skeleton with silhouettes to enhance individual differentiation. Comprehensive benchmarks demonstrate that PSGait outperforms state-of-the-art multimodal methods while significantly reducing computational resources. As a plug-and-play method, it achieves an improvement of up to 15.7\% in the accuracy of Rank-1 in various models. These results validate the Parsing Skeleton as a \textbf{lightweight}, \textbf{effective}, and highly \textbf{generalizable} representation for gait recognition in the wild. Code is available at https://github.com/realHarryX/PSGait.


翻译:步态识别因其非侵入性特点,已成为一种稳健的生物特征识别方式。传统的步态识别方法主要依赖于轮廓或骨架。尽管这些方法在受控实验室环境中表现有效,但其有限的信息熵限制了其在真实场景中的泛化能力。为克服这一局限,我们提出了一种称为**解析骨架**的新型表示方法,该方法利用骨架引导的人体解析技术,以更高的信息熵捕捉细粒度的身体动态。为充分挖掘解析骨架的潜力,我们还提出了**PSGait**框架,该框架将解析骨架与轮廓信息融合,以增强个体区分度。全面的基准测试表明,PSGait在显著减少计算资源的同时,性能优于当前最先进的多模态方法。作为一种即插即用方法,它在多种模型中将Rank-1准确率最高提升了15.7%。这些结果验证了解析骨架作为一种**轻量级**、**高效**且具有高度**泛化性**的表示方法,适用于野外环境下的步态识别。代码可在 https://github.com/realHarryX/PSGait 获取。

0
下载
关闭预览

相关内容

多模态模型架构的演变
专知会员服务
71+阅读 · 2024年5月29日
基于深度学习的物体姿态估计综述
专知会员服务
26+阅读 · 2024年5月15日
多模态数据的行为识别综述
专知会员服务
88+阅读 · 2022年11月30日
TPAMI 2022 | 最新综述:基于不同数据模态的行为识别
专知会员服务
53+阅读 · 2022年7月2日
专知会员服务
44+阅读 · 2021年4月18日
步态识别新动态 !专家报告 + 大咖观点
中国图象图形学报
21+阅读 · 2020年10月14日
【紫冬声音】基于人体骨架的行为识别
中国自动化学会
17+阅读 · 2019年1月30日
【紫冬分享】基于人体骨架的行为识别
中国科学院自动化研究所
20+阅读 · 2019年1月18日
基于人体骨架的行为识别【附PPT与视频资料】
人工智能前沿讲习班
31+阅读 · 2019年1月15日
AI综述专栏 | 人体骨骼关键点检测综述
人工智能前沿讲习班
19+阅读 · 2018年11月7日
一文看懂如何将深度学习应用于视频动作识别
人体骨骼关键点检测综述
极市平台
22+阅读 · 2018年6月29日
AI综述专栏 | 步态识别的深度学习综述
人工智能前沿讲习班
29+阅读 · 2018年6月27日
干货|基于双流递归神经网络的人体骨架行为识别!
全球人工智能
13+阅读 · 2017年12月15日
【前沿】凌空手势识别综述
科技导报
12+阅读 · 2017年8月17日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
VIP会员
最新内容
《系统簇式多域作战规划范畴论框架》
专知会员服务
4+阅读 · 4月20日
高效视频扩散模型:进展与挑战
专知会员服务
2+阅读 · 4月20日
乌克兰前线的五项创新
专知会员服务
7+阅读 · 4月20日
 军事通信系统与设备的技术演进综述
专知会员服务
5+阅读 · 4月20日
《北约标准:医疗评估手册》174页
专知会员服务
5+阅读 · 4月20日
《提升生成模型的安全性与保障》博士论文
专知会员服务
5+阅读 · 4月20日
美国当前高超音速导弹发展概述
专知会员服务
4+阅读 · 4月19日
无人机蜂群建模与仿真方法
专知会员服务
14+阅读 · 4月19日
相关资讯
步态识别新动态 !专家报告 + 大咖观点
中国图象图形学报
21+阅读 · 2020年10月14日
【紫冬声音】基于人体骨架的行为识别
中国自动化学会
17+阅读 · 2019年1月30日
【紫冬分享】基于人体骨架的行为识别
中国科学院自动化研究所
20+阅读 · 2019年1月18日
基于人体骨架的行为识别【附PPT与视频资料】
人工智能前沿讲习班
31+阅读 · 2019年1月15日
AI综述专栏 | 人体骨骼关键点检测综述
人工智能前沿讲习班
19+阅读 · 2018年11月7日
一文看懂如何将深度学习应用于视频动作识别
人体骨骼关键点检测综述
极市平台
22+阅读 · 2018年6月29日
AI综述专栏 | 步态识别的深度学习综述
人工智能前沿讲习班
29+阅读 · 2018年6月27日
干货|基于双流递归神经网络的人体骨架行为识别!
全球人工智能
13+阅读 · 2017年12月15日
【前沿】凌空手势识别综述
科技导报
12+阅读 · 2017年8月17日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员