The goal of gait recognition is to extract identity-invariant features of an individual under various gait conditions, e.g., cross-view and cross-clothing. Most gait models strive to implicitly learn the common traits across different gait conditions in a data-driven manner to pull different gait conditions closer for recognition. However, relatively few studies have explicitly explored the inherent relations between different gait conditions. For this purpose, we attempt to establish connections among different gait conditions and propose a new perspective to achieve gait recognition: variations in different gait conditions can be approximately viewed as a combination of geometric transformations. In this case, all we need is to determine the types of geometric transformations and achieve geometric invariance, then identity invariance naturally follows. As an initial attempt, we explore three common geometric transformations (i.e., Reflect, Rotate, and Scale) and design a $\mathcal{R}$eflect-$\mathcal{R}$otate-$\mathcal{S}$cale invariance learning framework, named ${\mathcal{RRS}}$-Gait. Specifically, it first flexibly adjusts the convolution kernel based on the specific geometric transformations to achieve approximate feature equivariance. Then these three equivariant-aware features are respectively fed into a global pooling operation for final invariance-aware learning. Extensive experiments on four popular gait datasets (Gait3D, GREW, CCPG, SUSTech1K) show superior performance across various gait conditions.


翻译:步态识别的目标是在不同步态条件下(例如跨视角和跨着装)提取个体的身份不变特征。大多数步态模型致力于以数据驱动的方式隐式学习不同步态条件间的共性特征,以拉近不同步态条件间的距离从而实现识别。然而,相对较少的研究明确探索了不同步态条件之间的内在关联。为此,我们尝试建立不同步态条件间的联系,并提出一种实现步态识别的新视角:不同步态条件的变化可近似视为几何变换的组合。在此情况下,我们仅需确定几何变换的类型并实现几何不变性,身份不变性便会自然随之而来。作为初步尝试,我们探索了三种常见的几何变换(即反射、旋转和缩放),并设计了一个名为${\mathcal{RRS}}$-Gait的反射-旋转-缩放不变性学习框架。具体而言,该框架首先根据特定几何变换灵活调整卷积核,以实现近似的特征等变性。随后,这三种等变感知特征分别输入全局池化操作,以进行最终的不变性感知学习。在四个主流步态数据集(Gait3D、GREW、CCPG、SUSTech1K)上的大量实验表明,该框架在不同步态条件下均表现出优越性能。

0
下载
关闭预览

相关内容

用于识别任务的视觉 Transformer 综述
专知会员服务
75+阅读 · 2023年2月25日
多模态数据的行为识别综述
专知会员服务
88+阅读 · 2022年11月30日
TPAMI 2022 | 最新综述:基于不同数据模态的行为识别
专知会员服务
53+阅读 · 2022年7月2日
专知会员服务
62+阅读 · 2021年3月25日
多模态视觉语言表征学习研究综述
专知会员服务
195+阅读 · 2020年12月3日
【Uber AI新论文】持续元学习,Learning to Continually Learn
专知会员服务
37+阅读 · 2020年2月27日
基于深度学习的行人重识别研究进展,自动化学报
专知会员服务
39+阅读 · 2019年12月5日
多模态视觉语言表征学习研究综述
专知
27+阅读 · 2020年12月3日
步态识别新动态 !专家报告 + 大咖观点
中国图象图形学报
21+阅读 · 2020年10月14日
深度多模态表示学习综述论文,22页pdf
专知
33+阅读 · 2020年6月21日
AI综述专栏 | 步态识别的深度学习综述
人工智能前沿讲习班
29+阅读 · 2018年6月27日
行人再识别中的迁移学习
计算机视觉战队
11+阅读 · 2017年12月20日
干货|基于双流递归神经网络的人体骨架行为识别!
全球人工智能
13+阅读 · 2017年12月15日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
VIP会员
相关VIP内容
相关基金
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员