With the advancement of science and technology, the importance of emotion research has become increasingly evident. Electroencephalography (EEG)-based emotion recognition has emerged as an active research area in recent years, owing to its objectivity and high temporal resolution. However, most existing methods focus on optimizing encoder structures to enhance feature extraction capabilities, while paying relatively little attention to similarity calculation strategies, particularly overlooking the potential temporal misalignment of responses among different subjects. To address these shortcomings, this paper draws inspiration from the late interaction mechanism of ColBERT in natural language processing (NLP) and proposes a Temporal Asynchronous Alignment-based Contrastive Learning (TA2CL) framework. This method transforms the traditional global "hard alignment" similarity calculation approach into a fine-grained local matching mechanism, enabling the model to adaptively search for and align "locally highly correlated" segments between two EEG signals, thereby effectively mitigating the effects of inter-subject differences and temporal delays. Experimental results demonstrate that the proposed method achieves strong performance across multiple public datasets. Specifically, on the FACED dataset, it achieves an accuracy of 64.5% for the nine-class classification task and 79.5% for the binary classification task, while on the SEED and SEED-V datasets, it achieves accuracies of 86.4% and 70.1%, respectively, validating the method's effectiveness and generalization capability.


翻译:随着科技的进步,情感研究的重要性日益凸显。基于脑电信号的情感识别因其客观性与高时间分辨率,近年来成为活跃的研究领域。然而,现有方法大多聚焦于优化编码器结构以增强特征提取能力,而对相似度计算策略关注相对较少,尤其忽略了不同被试响应间潜在的时间错位问题。针对上述不足,本文借鉴自然语言处理中ColBERT模型的延迟交互机制,提出了一种基于时序异步对齐的对比学习框架。该方法将传统的全局“硬对齐”相似度计算方式转化为细粒度的局部匹配机制,使模型能够自适应搜索并对齐两段脑电信号间的“局部高相关”片段,从而有效缓解被试间差异与时间延迟造成的影响。实验结果表明,所提方法在多个公开数据集上表现优异。具体地,在FACED数据集上,九分类任务准确率达64.5%,二分类任务达79.5%;在SEED和SEED-V数据集上,准确率分别为86.4%和70.1%,验证了方法的有效性与泛化能力。

0
下载
关闭预览

相关内容

多模态对话情感识别:方法、趋势、挑战与前景综述
专知会员服务
20+阅读 · 2025年5月28日
《静态与动态情感的面部表情识别综述》
专知会员服务
20+阅读 · 2024年8月31日
基于深度神经网络的高效视觉识别研究进展与新方向
专知会员服务
40+阅读 · 2021年8月31日
基于生理信号的情感计算研究综述
专知会员服务
67+阅读 · 2021年2月9日
多模态情绪识别研究综述
专知会员服务
170+阅读 · 2020年12月21日
【ACM MM2020】跨模态分布匹配的半监督多模态情感识别
专知会员服务
43+阅读 · 2020年9月8日
情感计算研究进展、现状及趋势
哈工大SCIR
26+阅读 · 2022年4月27日
多模态情绪识别研究综述
专知
25+阅读 · 2020年12月21日
何晖光:多模态情绪识别及跨被试迁移学习
深度学习大讲堂
58+阅读 · 2019年4月23日
基于面部表情的学习困惑自动识别法
MOOC
10+阅读 · 2018年9月17日
【团队新作】连续情感识别,精准捕捉你的小情绪!
中国科学院自动化研究所
16+阅读 · 2018年4月17日
就喜欢看综述论文:情感分析中的深度学习
机器之心
13+阅读 · 2018年1月26日
干货|基于双流递归神经网络的人体骨架行为识别!
全球人工智能
13+阅读 · 2017年12月15日
特定目标情感分析——神经网络这是要逆天么
计算机研究与发展
14+阅读 · 2017年9月5日
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
23+阅读 · 2016年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
8+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
10+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
6+阅读 · 6月17日
相关基金
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
23+阅读 · 2016年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员