Micro-actions are short-duration, low-amplitude subtle body movements at the whole-body level that can reveal latent intentions, involuntary reactions, and fine-grained affective changes. Our previous MA-52 benchmark has provided an important foundation for micro-action recognition, but it remains limited in scale, scene diversity, task coverage, and evaluation protocols. To advance micro-action analysis toward more realistic and comprehensive settings, we introduce MMA-82, a large-scale multi-domain extension of MA-52. MMA-82 expands the label space from 52 to 82 fine-grained micro-action categories and covers four distinct domains, including laboratory interviews, street interviews, psychiatric patient interviews, and emotion-rich television videos, resulting in 77,856 annotated instances from 454 subjects. Built upon MMA-82, we establish two core tasks: Micro-Action Recognition and Multi-label Micro-Action Detection. For recognition, we further define in-domain and cross-domain protocols, including few-shot and zero-shot settings, to evaluate model robustness, transferability, and generalization. Extensive experiments show that current methods still struggle with realistic micro-action understanding, especially under domain shift, long-tailed category distributions, and complex temporal localization. Beyond benchmarking, we investigate the relationship between micro-actions and emotion, showing that micro-actions are strongly associated with emotional states and provide complementary cues to facial micro-expressions for improved emotion recognition. These results demonstrate that MMA-82 serves as a comprehensive and challenging benchmark for realistic micro-action analysis and a valuable resource for human-centered AI. MMA-82 is available at https://lpynow.github.io/MMA-82-AIM/.


翻译:微动作是在全身层面发生的、持续时间短、幅度低的微妙身体运动,能够揭示潜在意图、无意识反应以及细粒度的情感变化。我们之前的MA-52基准为微动作识别提供了重要基础,但其在规模、场景多样性、任务覆盖范围和评估协议方面仍存在局限。为了推动微动作分析向更真实和更全面的场景发展,我们引入了MMA-82,这是MA-52的大规模多域扩展。MMA-82将标签空间从52类扩展到82类细粒度微动作类别,涵盖四个不同的领域,包括实验室访谈、街头访谈、精神病患者访谈和情感丰富的电视视频,最终从454名受试者中获得了77,856个标注实例。基于MMA-82,我们确立了两个核心任务:微动作识别和多标签微动作检测。对于识别任务,我们进一步定义了域内和跨域协议,包括少样本和零样本设置,以评估模型的鲁棒性、迁移性和泛化能力。大量实验表明,当前方法在真实场景的微动作理解上仍存在困难,尤其是在域偏移、长尾类别分布和复杂时间定位的情况下。除了基准测试,我们还研究了微动作与情感之间的关系,表明微动作与情感状态密切相关,并为面部微表情提供了补充线索,以改进情感识别。这些结果表明,MMA-82为真实场景下的微动作分析提供了一个全面且具有挑战性的基准,也是人本人工智能的宝贵资源。MMA-82可在https://lpynow.github.io/MMA-82-AIM/获取。

0
下载
关闭预览

相关内容

多模态移动智能体的基础与最新趋势:综述
专知会员服务
37+阅读 · 2024年11月6日
多模态数据的行为识别综述
专知会员服务
88+阅读 · 2022年11月30日
步态识别新动态 !专家报告 + 大咖观点
中国图象图形学报
21+阅读 · 2020年10月14日
CVPR 2020 论文大盘点-动作检测与动作分割篇
计算机视觉life
12+阅读 · 2020年7月27日
基于人体骨架的行为识别【附PPT与视频资料】
人工智能前沿讲习班
31+阅读 · 2019年1月15日
基于视频的目标检测的发展【附PPT与视频资料】
人工智能前沿讲习班
19+阅读 · 2018年12月14日
一文看懂如何将深度学习应用于视频动作识别
ETP:精确时序动作定位
极市平台
13+阅读 · 2018年5月25日
干货|基于双流递归神经网络的人体骨架行为识别!
全球人工智能
13+阅读 · 2017年12月15日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2016年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
VIP会员
最新内容
重新思考无人机时代的生存能力
专知会员服务
2+阅读 · 今天7:44
装甲突击旅:现代战争思考、战斗与组织
专知会员服务
2+阅读 · 今天7:28
在人工智能加速决策环境中拓展OODA循环
专知会员服务
3+阅读 · 今天7:18
军事欺骗:供作战战术指挥官使用的工具
专知会员服务
3+阅读 · 今天7:03
综述 | 世界动作模型:少做梦,多行动
专知会员服务
5+阅读 · 6月23日
美以伊冲突:无人机与人工智能的运用
专知会员服务
10+阅读 · 6月23日
《特种部队在透明战场中的生存力》最新报告
专知会员服务
5+阅读 · 6月23日
相关VIP内容
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2016年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员