Few-shot action recognition, i.e. recognizing new action classes given only a few examples, benefits from incorporating temporal information. Prior work either encodes such information in the representation itself and learns classifiers at test time, or obtains frame-level features and performs pairwise temporal matching. We first evaluate a number of matching-based approaches using features from spatio-temporal backbones, a comparison missing from the literature, and show that the gap in performance between simple baselines and more complicated methods is significantly reduced. Inspired by this, we propose Chamfer++, a non-temporal matching function that achieves state-of-the-art results in few-shot action recognition. We show that, when starting from temporal features, our parameter-free and interpretable approach can outperform all other matching-based and classifier methods for one-shot action recognition on three common datasets without using temporal information in the matching stage. Project page: https://jbertrand89.github.io/matching-based-fsar


翻译:小样本动作识别,即仅通过少量示例识别新动作类别,得益于对时间信息的整合。以往的工作要么在表示本身中编码此类信息并在测试时学习分类器,要么获取帧级特征并执行成对的时间匹配。我们首先评估了多种基于匹配的方法,这些方法使用了来自时空骨干网络的特征——这是文献中缺失的比较——并表明简单基线与更复杂方法之间的性能差距显著缩小。受此启发,我们提出了Chamfer++,一种非时间匹配函数,在小样本动作识别中取得了最先进的结果。我们表明,当从时间特征出发时,这种无参数且可解释的方法能够在三个常见数据集上,在匹配阶段不使用时间信息的情况下,超越所有其他基于匹配和分类器的方法,实现单样本动作识别。项目页面:https://jbertrand89.github.io/matching-based-fsar

0
下载
关闭预览

相关内容

100+篇《自监督学习(Self-Supervised Learning)》论文最新合集
专知会员服务
167+阅读 · 2020年3月18日
[综述]深度学习下的场景文本检测与识别
专知会员服务
78+阅读 · 2019年10月10日
CVPR 2021 论文盘点-人脸识别篇
CVer
2+阅读 · 2022年5月25日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
人脸相关算法、数据集、文献资源大列表
专知
16+阅读 · 2019年3月16日
逆强化学习-学习人先验的动机
CreateAMind
16+阅读 · 2019年1月18日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
可解释的CNN
CreateAMind
18+阅读 · 2017年10月5日
【推荐】图像分类必读开创性论文汇总
机器学习研究会
14+阅读 · 2017年8月15日
国家自然科学基金
7+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
Arxiv
0+阅读 · 2023年5月17日
Arxiv
0+阅读 · 2023年5月15日
Arxiv
12+阅读 · 2021年6月29日
Arxiv
32+阅读 · 2021年3月29日
Few-shot Learning: A Survey
Arxiv
364+阅读 · 2019年4月10日
VIP会员
最新内容
《人工智能赋能的适应性多功能电磁战》
专知会员服务
10+阅读 · 9月29日
俄乌战场实验室:全面战争如何重塑现代作战
专知会员服务
8+阅读 · 9月29日
2026年美空军协会会议上的无人机系统趋势
专知会员服务
10+阅读 · 9月28日
反制无人机:乌克兰提供的五点启示
专知会员服务
16+阅读 · 9月23日
《各指挥层级均亟需红队能力》报告
专知会员服务
11+阅读 · 9月23日
《航电任务系统框架(FAMOS)》50页报告
专知会员服务
9+阅读 · 9月22日
《对抗行动中的人工智能与自主性》智库报告
专知会员服务
15+阅读 · 9月22日
《从数据到胜利:战争中的分析优势之争》
专知会员服务
18+阅读 · 9月22日
相关VIP内容
100+篇《自监督学习(Self-Supervised Learning)》论文最新合集
专知会员服务
167+阅读 · 2020年3月18日
[综述]深度学习下的场景文本检测与识别
专知会员服务
78+阅读 · 2019年10月10日
相关资讯
CVPR 2021 论文盘点-人脸识别篇
CVer
2+阅读 · 2022年5月25日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
人脸相关算法、数据集、文献资源大列表
专知
16+阅读 · 2019年3月16日
逆强化学习-学习人先验的动机
CreateAMind
16+阅读 · 2019年1月18日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
可解释的CNN
CreateAMind
18+阅读 · 2017年10月5日
【推荐】图像分类必读开创性论文汇总
机器学习研究会
14+阅读 · 2017年8月15日
相关论文
Arxiv
0+阅读 · 2023年5月17日
Arxiv
0+阅读 · 2023年5月15日
Arxiv
12+阅读 · 2021年6月29日
Arxiv
32+阅读 · 2021年3月29日
Few-shot Learning: A Survey
Arxiv
364+阅读 · 2019年4月10日
相关基金
国家自然科学基金
7+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员