Continuous electroencephalography (EEG) emotion prediction aims to model the temporal evolution of human emotional states from EEG signals. Unlike conventional discrete emotion recognition, continuous prediction requires capturing long-range temporal dependencies and coherent emotional dynamics. However, existing methods mainly rely on point-wise regression and directly model noisy high-dimensional EEG features, limiting their ability to characterize continuous emotional evolution.To address these challenges, we propose EEGDancer, a dynamic emotional latent space learning framework for continuous EEG emotion prediction. The framework integrates vector-quantized representation learning, masked temporal modeling, and reinforcement learning-based trajectory optimization into a unified architecture.Specifically, a causal spatiotemporal Vector-Quantization Variational Autoencoder (VQ-VAE) is designed to learn structured emotional prototypes and construct a discrete-continuous emotional latent space from EEG signals. Based on the learned latent representations, a Transformer-based masked dynamic modeling strategy captures long-range emotional dependencies and temporal evolution patterns. Furthermore, continuous emotion prediction is formulated as a sequential decision-making problem, and a Soft Actor-Critic (SAC) framework is introduced to optimize emotional prediction trajectories at the sequence level instead of frame-wise local fitting.Extensive experiments on the SEED, SEED-IV, and Long-Term Naturalistic Emotion datasets demonstrate that EEGDancer consistently outperforms existing machine learning and deep learning methods. Ablation studies further verify the effectiveness of the proposed latent space and reinforcement learning-based trajectory optimization for modeling continuous EEG emotional dynamics.


翻译:连续脑电情绪预测旨在从脑电信号中建模人类情感状态随时间演化的过程。不同于传统离散情绪识别,连续预测需要捕捉长程时间依赖与连贯的情感动态。然而,现有方法主要依赖逐点回归并直接建模噪声高维脑电特征,限制了其对连续情感演化的表征能力。为应对这些挑战,我们提出EEGDancer——一种面向连续脑电情绪预测的动态情感隐空间学习框架。该框架将向量量化表征学习、掩码时序建模与基于强化学习的轨迹优化整合为统一架构。具体而言,我们设计了因果时空向量量化变分自编码器(VQ-VAE),学习结构化情感原型并从脑电信号构建离散-连续情感隐空间。基于学习到的隐表征,采用Transformer掩码动态建模策略捕获长程情感依赖与时序演化模式。此外,我们将连续情绪预测建模为序列决策问题,引入柔性演员-评论家(SAC)框架优化序列级情感预测轨迹,而非逐帧局部拟合。在SEED、SEED-IV及长期自然情感数据集上的大量实验表明,EEGDancer持续优于现有机器学习和深度学习方法。消融实验进一步验证了所提出的隐空间与基于强化学习的轨迹优化对建模连续脑电情感动态的有效性。

0
下载
关闭预览

相关内容

情感推荐系统综述:面向个性化的态度、情绪与情境建模
【CVPR2022-上海交大】可持续时空预测学习框架
专知会员服务
32+阅读 · 2022年5月14日
多模态情绪识别研究综述
专知会员服务
170+阅读 · 2020年12月21日
「基于通信的多智能体强化学习」 进展综述
多模态情绪识别研究综述
专知
25+阅读 · 2020年12月21日
基于面部表情的学习困惑自动识别法
MOOC
10+阅读 · 2018年9月17日
【团队新作】连续情感识别,精准捕捉你的小情绪!
中国科学院自动化研究所
16+阅读 · 2018年4月17日
特定目标情感分析——神经网络这是要逆天么
计算机研究与发展
14+阅读 · 2017年9月5日
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
2+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
6+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
3+阅读 · 6月17日
相关VIP内容
情感推荐系统综述:面向个性化的态度、情绪与情境建模
【CVPR2022-上海交大】可持续时空预测学习框架
专知会员服务
32+阅读 · 2022年5月14日
多模态情绪识别研究综述
专知会员服务
170+阅读 · 2020年12月21日
相关基金
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员