Gait recognition is emerging as a promising technology and an innovative field within computer vision, with a wide range of applications in remote human identification. However, existing methods typically rely on complex architectures to directly extract features from images and apply pooling operations to obtain sequence-level representations. Such designs often lead to overfitting on static noise (e.g., clothing), while failing to effectively capture dynamic motion regions, such as the arms and legs. This bottleneck is particularly challenging in the presence of intra-class variation, where gait features of the same individual under different environmental conditions are significantly distant in the feature space. To address the above challenges, we present a Languageguided and Motion-aware gait recognition framework, named LMGait. To the best of our knowledge, LMGait is the first method to introduce natural language descriptions as explicit semantic priors into the gait recognition task. In particular, we utilize designed gait-related language cues to capture key motion features in gait sequences. To improve cross-modal alignment, we propose the Motion Awareness Module (MAM), which refines the language features by adaptively adjusting various levels of semantic information to ensure better alignment with the visual representations. Furthermore, we introduce the Motion Temporal Capture Module (MTCM) to enhance the discriminative capability of gait features and improve the model's motion tracking ability. We conducted extensive experiments across multiple datasets, and the results demonstrate the significant advantages of our proposed network. Specifically, our model achieved accuracies of 88.5%, 97.1%, and 97.5% on the CCPG, SUSTech1K, and CASIAB datasets, respectively, achieving state-of-the-art performance. Homepage: https://dingwu1021.github.io/LMGait/


翻译:步态识别作为一种新兴技术及计算机视觉领域的创新方向,在远程身份识别中展现出广阔的应用前景。然而,现有方法通常依赖复杂架构直接从图像中提取特征,并通过池化操作获得序列级表征。此类设计易导致模型对静态噪声(如衣着)过拟合,同时难以有效捕捉手臂、腿部等动态运动区域。这一瓶颈在存在类内差异时尤为突出——同一个体在不同环境条件下的步态特征在特征空间中相距甚远。为应对上述挑战,我们提出一种语言引导与运动感知的步态识别框架LMGait。据我们所知,LMGait是首个将自然语言描述作为显式语义先验引入步态识别任务的方法。具体而言,我们利用设计的步态相关语言提示来捕捉步态序列中的关键运动特征。为提升跨模态对齐能力,我们提出运动感知模块(MAM),通过自适应调整多层级语义信息来精炼语言特征,确保其与视觉表征更好对齐。此外,我们引入运动时序捕获模块(MTCM)以增强步态特征的判别能力,并提升模型的运动跟踪性能。我们在多个数据集上进行了广泛实验,结果表明所提网络具有显著优势:在CCPG、SUSTech1K和CASIAB数据集上分别达到88.5%、97.1%和97.5%的准确率,实现了最先进的性能。项目主页:https://dingwu1021.github.io/LMGait/

0
下载
关闭预览

相关内容

基于人机智能融合技术的态势感知应用研究
专知会员服务
95+阅读 · 2024年2月11日
多模态数据的行为识别综述
专知会员服务
88+阅读 · 2022年11月30日
数据驱动的态势认知技术及发展思考
专知会员服务
154+阅读 · 2022年7月12日
面向行人重识别的局部特征研究进展、挑战与展望
专知会员服务
27+阅读 · 2021年10月13日
专知会员服务
34+阅读 · 2021年10月11日
专知会员服务
24+阅读 · 2021年3月18日
基于深度学习的行人重识别研究进展,自动化学报
专知会员服务
39+阅读 · 2019年12月5日
数据驱动的态势认知技术及发展思考
专知
18+阅读 · 2022年7月12日
多模态视觉语言表征学习研究综述
专知
27+阅读 · 2020年12月3日
步态识别新动态 !专家报告 + 大咖观点
中国图象图形学报
21+阅读 · 2020年10月14日
计算机视觉方向简介 | 人脸表情识别
计算机视觉life
36+阅读 · 2019年5月15日
基于人体骨架的行为识别【附PPT与视频资料】
人工智能前沿讲习班
31+阅读 · 2019年1月15日
AI综述专栏 | 步态识别的深度学习综述
人工智能前沿讲习班
29+阅读 · 2018年6月27日
行人再识别中的迁移学习
计算机视觉战队
11+阅读 · 2017年12月20日
干货|基于双流递归神经网络的人体骨架行为识别!
全球人工智能
13+阅读 · 2017年12月15日
NLP中自动生产文摘(auto text summarization)
机器学习研究会
14+阅读 · 2017年10月10日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
VIP会员
相关VIP内容
基于人机智能融合技术的态势感知应用研究
专知会员服务
95+阅读 · 2024年2月11日
多模态数据的行为识别综述
专知会员服务
88+阅读 · 2022年11月30日
数据驱动的态势认知技术及发展思考
专知会员服务
154+阅读 · 2022年7月12日
面向行人重识别的局部特征研究进展、挑战与展望
专知会员服务
27+阅读 · 2021年10月13日
专知会员服务
34+阅读 · 2021年10月11日
专知会员服务
24+阅读 · 2021年3月18日
基于深度学习的行人重识别研究进展,自动化学报
专知会员服务
39+阅读 · 2019年12月5日
相关资讯
数据驱动的态势认知技术及发展思考
专知
18+阅读 · 2022年7月12日
多模态视觉语言表征学习研究综述
专知
27+阅读 · 2020年12月3日
步态识别新动态 !专家报告 + 大咖观点
中国图象图形学报
21+阅读 · 2020年10月14日
计算机视觉方向简介 | 人脸表情识别
计算机视觉life
36+阅读 · 2019年5月15日
基于人体骨架的行为识别【附PPT与视频资料】
人工智能前沿讲习班
31+阅读 · 2019年1月15日
AI综述专栏 | 步态识别的深度学习综述
人工智能前沿讲习班
29+阅读 · 2018年6月27日
行人再识别中的迁移学习
计算机视觉战队
11+阅读 · 2017年12月20日
干货|基于双流递归神经网络的人体骨架行为识别!
全球人工智能
13+阅读 · 2017年12月15日
NLP中自动生产文摘(auto text summarization)
机器学习研究会
14+阅读 · 2017年10月10日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员