Gait patterns play a critical role in human identification and healthcare analytics, yet current progress remains constrained by small, narrowly designed models that fail to scale or generalize. Building a unified gait foundation model requires addressing two longstanding barriers: (a) Scalability. Why have gait models historically failed to follow scaling laws? (b) Generalization. Can one model serve the diverse gait tasks that have traditionally been studied in isolation? We introduce FoundationGait, the first scalable, self-supervised pretraining framework for gait understanding. Its largest version has nearly 0.13 billion parameters and is pretrained on 12 public gait datasets comprising over 2 million walking sequences. Extensive experiments demonstrate that FoundationGait, with or without fine-tuning, performs robustly across a wide spectrum of gait datasets, conditions, tasks (e.g., human identification, scoliosis screening, depression prediction, and attribute estimation), and even input modality. Notably, it achieves 48.0% zero-shot rank-1 accuracy on the challenging in-the-wild Gait3D dataset (1,000 test subjects) and 64.5% on the largest in-the-lab OU-MVLP dataset (5,000+ test subjects), setting a new milestone in robust gait recognition. Coming code and model: https://github.com/ShiqiYu/OpenGait.


翻译:步态模式在人类身份识别与健康分析中扮演着关键角色,然而当前进展仍受限于规模小、设计狭窄的模型,这些模型难以扩展或泛化。构建统一的步态基础模型需要解决两个长期存在的障碍:(a) 可扩展性。为何步态模型历来未能遵循缩放定律?(b) 泛化性。一个模型能否服务于传统上孤立研究的多样化步态任务?我们提出了FoundationGait,首个用于步态理解的可扩展、自监督预训练框架。其最大版本拥有近1.3亿参数,并在包含超过200万行走序列的12个公开步态数据集上进行预训练。大量实验表明,无论是否经过微调,FoundationGait在广泛的步态数据集、条件、任务(例如人类身份识别、脊柱侧弯筛查、抑郁预测和属性估计)乃至输入模态上均表现稳健。值得注意的是,它在具有挑战性的野外数据集Gait3D(1000名测试对象)上实现了48.0%的零样本Rank-1准确率,在最大的实验室数据集OU-MVLP(5000+名测试对象)上达到64.5%,为稳健步态识别树立了新的里程碑。即将发布的代码与模型:https://github.com/ShiqiYu/OpenGait。

0
下载
关闭预览

相关内容

数据集,又称为资料集、数据集合或资料集合,是一种由数据所组成的集合。
Data set(或dataset)是一个数据的集合,通常以表格形式出现。每一列代表一个特定变量。每一行都对应于某一成员的数据集的问题。它列出的价值观为每一个变量,如身高和体重的一个物体或价值的随机数。每个数值被称为数据资料。对应于行数,该数据集的数据可能包括一个或多个成员。
DeepSeek模型综述:V1 V2 V3 R1-Zero
专知会员服务
116+阅读 · 2025年2月11日
【ICML2023】SEGA:结构熵引导的图对比学习锚视图
专知会员服务
24+阅读 · 2023年5月10日
【AAAI2023】基于Dirichlet元模型的事后不确定性学习
专知会员服务
16+阅读 · 2022年12月16日
专知会员服务
18+阅读 · 2021年7月27日
专知会员服务
69+阅读 · 2021年4月27日
【ICML2020】持续终身学习的神经主题建模
专知会员服务
40+阅读 · 2020年6月22日
【NeurIPS2019】图变换网络:Graph Transformer Network
直白介绍卷积神经网络(CNN)
算法与数学之美
13+阅读 · 2019年1月23日
误差反向传播——CNN
统计学习与视觉计算组
31+阅读 · 2018年7月12日
LibRec 每周算法:LDA主题模型
LibRec智能推荐
29+阅读 · 2017年12月4日
语义分割中的深度学习方法全解:从FCN、SegNet到DeepLab
炼数成金订阅号
26+阅读 · 2017年7月10日
国家自然科学基金
17+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
16+阅读 · 2013年12月31日
Arxiv
18+阅读 · 2024年12月27日
Arxiv
175+阅读 · 2023年4月20日
A Survey of Large Language Models
Arxiv
499+阅读 · 2023年3月31日
Arxiv
181+阅读 · 2023年3月24日
Arxiv
27+阅读 · 2023年3月17日
VIP会员
相关基金
国家自然科学基金
17+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
16+阅读 · 2013年12月31日
Top
微信扫码咨询专知VIP会员