The goal of gait recognition is to extract identity-invariant features of an individual under various gait conditions, e.g., cross-view and cross-clothing. Most gait models strive to implicitly learn the common traits across different gait conditions in a data-driven manner to pull different gait conditions closer for recognition. However, relatively few studies have explicitly explored the inherent relations between different gait conditions. For this purpose, we attempt to establish connections among different gait conditions and propose a new perspective to achieve gait recognition: variations in different gait conditions can be approximately viewed as a combination of geometric transformations. In this case, all we need is to determine the types of geometric transformations and achieve geometric invariance, then identity invariance naturally follows. As an initial attempt, we explore three common geometric transformations (i.e., Reflect, Rotate, and Scale) and design a $\mathcal{R}$eflect-$\mathcal{R}$otate-$\mathcal{S}$cale invariance learning framework, named ${\mathcal{RRS}}$-Gait. Specifically, it first flexibly adjusts the convolution kernel based on the specific geometric transformations to achieve approximate feature equivariance. Then these three equivariant-aware features are respectively fed into a global pooling operation for final invariance-aware learning. Extensive experiments on four popular gait datasets (Gait3D, GREW, CCPG, SUSTech1K) show superior performance across various gait conditions.


翻译:步态识别的目标是在不同步态条件下(例如跨视角和跨着装)提取个体的身份不变特征。大多数步态模型致力于以数据驱动的方式隐式学习不同步态条件间的共性特征,以拉近不同步态条件间的距离从而实现识别。然而,相对较少的研究明确探索了不同步态条件之间的内在关联。为此,我们尝试建立不同步态条件间的联系,并提出一种实现步态识别的新视角:不同步态条件的变化可近似视为几何变换的组合。在此情况下,我们仅需确定几何变换的类型并实现几何不变性,身份不变性便会自然随之而来。作为初步尝试,我们探索了三种常见的几何变换(即反射、旋转和缩放),并设计了一个名为${\mathcal{RRS}}$-Gait的反射-旋转-缩放不变性学习框架。具体而言,该框架首先根据特定几何变换灵活调整卷积核,以实现近似的特征等变性。随后,这三种等变感知特征分别输入全局池化操作,以进行最终的不变性感知学习。在四个主流步态数据集(Gait3D、GREW、CCPG、SUSTech1K)上的大量实验表明,该框架在不同步态条件下均表现出优越性能。

0
下载
关闭预览

相关内容

【NeurIPS2022】通过模型转换的可解释强化学习
专知会员服务
38+阅读 · 2022年10月4日
【CVPR2022】MSDN: 零样本学习的互语义蒸馏网络
专知会员服务
21+阅读 · 2022年3月8日
专知会员服务
41+阅读 · 2021年6月19日
国家自然科学基金
18+阅读 · 2017年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
18+阅读 · 2017年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员