In-the-wild expression recognition persistently fails on a few rare emotions, and the standard explanation is class imbalance. Through a controlled multi-task study on two benchmarks, we show the failure is instead a property of affect geometry: the rare classes are degenerate on Russell's circumplex, and that degeneracy bounds what any loss or cost can achieve. Our instrument is a circumplex-cost optimal-transport term that prices expression confusions by their valence-arousal distance. The term improves the official score and expression macro-F1, but a control most studies omit shows the gain is not geometric: a uniform cost, equivalent to a generic confidence penalty, matches it on Aff-Wild2 (p=0.625) and significantly exceeds it on AffectNet (+0.057 over base, larger than the circumplex). What the geometry reshapes is the structure of the errors, making them affectively nearer the truth on Aff-Wild2 (p=0.031 against the uniform control), an effect that does not survive on AffectNet, where a visual confound at the far corner of the circumplex overwhelms it. The rare-class failure, by contrast, is stable across both datasets we examine: the degenerate pairs (anger-fear on Aff-Wild2, anger-contempt on AffectNet) resist frequency-based interventions, the transport term, and an action-unit-augmented cost built specifically to separate them. We conclude that progress on rare expressions requires representations that distinguish the classes, not supervision that reprices their confusions, and we provide the controls and metrics needed to tell the two apart.


翻译:在自然场景下的表情识别对少数稀有情绪的识别始终存在失败,标准解释是类别不平衡。通过对两个基准数据集进行受控多任务研究,我们表明这种失败反而是情感几何结构的属性:稀有类别在Russell圆周上呈现退化状态,且这种退化限制了任何损失函数或代价函数所能达到的性能。我们的工具是圆周代价最优传输项,它根据效价-唤醒度距离对表情混淆进行定价。该术语提升了官方评分和表情宏F1值,但多数研究忽略的对照实验表明这种提升并非几何性的:等同于通用置信度惩罚的均匀代价在Aff-Wild2上与之持平(p=0.625),在AffectNet上显著超越(相对于基线提升+0.057,大于圆周代价)。几何结构真正改变的是错误结构,使其在Aff-Wild2上情感距离更接近真实值(相对于均匀对照p=0.031),但这种效应在AffectNet上不成立,因为圆周远端角落的视觉混淆因素压制了该效应。相比之下,稀有类失败在我们检验的两个数据集中保持稳定:退化对(Aff-Wild2上的愤怒-恐惧,AffectNet上的愤怒-轻蔑)抵抗基于频率的干预、传输项以及专门为区分它们而构建的动作单元增强代价。我们的结论是:稀有表情的进展需要能够区分这些类别的表征,而非对混淆进行重新定价的监督机制,我们提供了区分两者所需的对照实验和评估指标。

0
下载
关闭预览

相关内容

大型语言模型的规模效应局限
专知会员服务
14+阅读 · 2025年11月18日
标注受限场景下的视觉表征与理解
专知会员服务
14+阅读 · 2025年2月6日
多样化偏好优化
专知会员服务
12+阅读 · 2025年2月3日
《静态与动态情感的面部表情识别综述》
专知会员服务
20+阅读 · 2024年8月31日
【Nature论文】深度网络中的梯度下降复杂度控制
专知会员服务
41+阅读 · 2020年3月9日
稀疏大模型简述:从MoE、Sparse Attention到GLaM
夕小瑶的卖萌屋
14+阅读 · 2022年3月22日
多模态情绪识别研究综述
专知
25+阅读 · 2020年12月21日
搜索query意图识别的演进
DataFunTalk
13+阅读 · 2020年11月15日
深度学习在金融文本情感分类中的应用
AI前线
36+阅读 · 2019年1月12日
【团队新作】连续情感识别,精准捕捉你的小情绪!
中国科学院自动化研究所
16+阅读 · 2018年4月17日
概率论之概念解析:边缘化(Marginalisation)
人脸表情分类与识别:人脸检测+情绪分类
北京思腾合力科技有限公司
27+阅读 · 2017年12月18日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
Arxiv
0+阅读 · 5月13日
VIP会员
最新内容
21世纪的无人机战争
专知会员服务
1+阅读 · 47分钟前
《量子技术的军事任务技术适配与利用》
专知会员服务
1+阅读 · 今天13:51
美国从乌克兰无人机战争中学习经验
专知会员服务
7+阅读 · 6月21日
ICML 2026 | 面向视觉语言模型的语义鲁棒性认证
专知会员服务
5+阅读 · 6月21日
相关VIP内容
相关资讯
稀疏大模型简述:从MoE、Sparse Attention到GLaM
夕小瑶的卖萌屋
14+阅读 · 2022年3月22日
多模态情绪识别研究综述
专知
25+阅读 · 2020年12月21日
搜索query意图识别的演进
DataFunTalk
13+阅读 · 2020年11月15日
深度学习在金融文本情感分类中的应用
AI前线
36+阅读 · 2019年1月12日
【团队新作】连续情感识别,精准捕捉你的小情绪!
中国科学院自动化研究所
16+阅读 · 2018年4月17日
概率论之概念解析:边缘化(Marginalisation)
人脸表情分类与识别:人脸检测+情绪分类
北京思腾合力科技有限公司
27+阅读 · 2017年12月18日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员