In recent years, self-supervised representation learning for skeleton-based action recognition has advanced with the development of contrastive learning methods. However, most of contrastive paradigms are inherently discriminative and often struggle to capture the variability and uncertainty intrinsic to human motion. To address this issue, we propose a variational contrastive learning framework that integrates probabilistic latent modeling with contrastive self-supervised learning. This formulation enables the learning of structured and semantically meaningful representations that generalize across different datasets and supervision levels. Extensive experiments on three widely used skeleton-based action recognition benchmarks show that our proposed method consistently outperforms existing approaches, particularly in low-label regimes. Moreover, qualitative analyses show that the features provided by our method are more relevant given the motion and sample characteristics, with more focus on important skeleton joints, when compared to the other methods.


翻译:近年来,随着对比学习方法的发展,基于骨架的动作识别的自监督表征学习取得了进展。然而,大多数对比范式本质上是判别式的,通常难以捕捉人体运动固有的变异性和不确定性。为了解决这个问题,我们提出了一种变分对比学习框架,该框架将概率潜在建模与对比自监督学习相结合。这种表述能够学习到结构化的、具有语义意义的表征,这些表征能够泛化到不同的数据集和监督水平。在三个广泛使用的基于骨架的动作识别基准上进行的大量实验表明,我们提出的方法始终优于现有方法,尤其是在低标签情况下。此外,定性分析表明,与其他方法相比,我们方法提供的特征与运动和样本特征更相关,并且更关注重要的骨架关节点。

0
下载
关闭预览

相关内容

[ICML2024]消除偏差:微调基础模型以进行半监督学习
专知会员服务
18+阅读 · 2024年5月23日
基于模型的强化学习综述
专知
42+阅读 · 2022年7月13日
注意力机制综述(中文版)
专知
23+阅读 · 2021年1月26日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
16+阅读 · 2013年12月31日
国家自然科学基金
17+阅读 · 2008年12月31日
VIP会员
相关基金
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
16+阅读 · 2013年12月31日
国家自然科学基金
17+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员