Blended emotion recognition is challenging because emotions are often expressed as mixtures of subtle and overlapping multimodal cues rather than a single dominant signal. We propose a rank-aware multi-encoder framework that selectively combines complementary representations from diverse pre-extracted video and audio encoders. Our method projects heterogeneous encoder features into a shared latent space, estimates sample-wise encoder importance through an attention-based gating module, and fuses only the top-n most informative encoders. To better model blended emotions, we decouple prediction into presence and salience heads and align them through probability-level fusion. We further incorporate feature-level unsupervised domain adaptation without pseudo-labeling to improve robustness under distribution shift. Experiments on the BlEmoRE challenge show that the proposed framework outperforms strong individual encoders and naïve multi-encoder fusion baselines. Our final system ranked 2nd in the competition, supporting the effectiveness of rank-aware selective fusion for fine-grained blended emotion recognition.


翻译:混合情感识别具有挑战性,因为情感常以细微且重叠的多模态线索混合形式表达,而非单一主导信号。我们提出了一种排名感知的多编码器框架,该框架可从多样化的预提取视频与音频编码器中选择性地融合互补表示。我们的方法将异构编码器特征投影到共享隐空间,通过基于注意力的门控模块估计每个样本的编码器重要性,并仅融合排名前N个信息量最大的编码器。为更有效地建模混合情感,我们将预测解耦为存在性头和显著性头,并通过概率级融合对齐二者。此外,我们在无需伪标签的情况下引入特征级无监督领域自适应,以提升分布偏移下的鲁棒性。在BlEmoRE挑战赛上的实验表明,所提出的框架优于强大的单编码器及简单的多编码器融合基线。我们的最终系统在该竞赛中排名第二,验证了排名感知选择性融合在细粒度混合情感识别中的有效性。

0
下载
关闭预览

相关内容

多模态对话情感识别:方法、趋势、挑战与前景综述
专知会员服务
20+阅读 · 2025年5月28日
多样化偏好优化
专知会员服务
12+阅读 · 2025年2月3日
推荐系统融合排序的多目标寻优技术
专知会员服务
19+阅读 · 2024年8月17日
多模态情绪识别研究综述
专知
25+阅读 · 2020年12月21日
搜索query意图识别的演进
DataFunTalk
13+阅读 · 2020年11月15日
【团队新作】连续情感识别,精准捕捉你的小情绪!
中国科学院自动化研究所
16+阅读 · 2018年4月17日
推荐算法:Match与Rank模型的交织配合
从0到1
15+阅读 · 2017年12月18日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
16+阅读 · 2013年12月31日
VIP会员
最新内容
综述 | 3D场景图:开放挑战与未来方向
专知会员服务
5+阅读 · 6月22日
21世纪的无人机战争
专知会员服务
4+阅读 · 6月22日
《量子技术的军事任务技术适配与利用》
专知会员服务
5+阅读 · 6月22日
美国从乌克兰无人机战争中学习经验
专知会员服务
7+阅读 · 6月21日
ICML 2026 | 面向视觉语言模型的语义鲁棒性认证
专知会员服务
5+阅读 · 6月21日
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
16+阅读 · 2013年12月31日
Top
微信扫码咨询专知VIP会员