Pupil dilation is recognized as an objective indicator of emotional arousal, but confounding factors such as the luminosity of stimuli and the surrounding environment have greatly limited its practical usefulness. This study presents a new approach to isolate and remove the effect of luminosity on pupil dilation. We validated this approach by showing 32 video clips with different content and emotional intensity to 47 participants, who reported their level of emotional arousal after each video. We developed a model capable of predicting the effect of luminosity on pupil size as a function of screen brightness, which adapts to individual physiological differences and different types of monitors through a brief pre-experimental calibration. We thus estimated the pupil size due exclusively to luminosity and subtracted it from the total recorded pupil size, obtaining the component due exclusively to arousal. From the latter, we predicted the arousal of each participant for each video using two models. We first used a simple linear regression model. When we used the luminosity-corrected pupil size, we obtained a correlation between predicted and self-reported arousal of r = 0.65 +/- 0.12, and R2 of 0.43 +/- 0.12. The uncorrected pupil size, instead, showed virtually no predictive power (r = 0.26 +/- 0.15, R2 = 0.09 +/- 0.089). We then used an Extreme Gradient Boosting model, obtaining even better results in the case of luminosity correction (r = 0.765 +/- 0.047, R2 = 0.556 +/- 0.085). Our results highlight that separating emotional and luminosity components from pupillary responses is crucial for accurately predicting arousal.


翻译:瞳孔扩张被认为是情绪唤醒的客观指标,但刺激物及周围环境的光照度等混杂因素极大地限制了其实际应用。本研究提出了一种分离并消除光照对瞳孔扩张影响的新方法。我们向47名参与者展示了32段不同内容与情绪强度的视频片段,每段视频后参与者均报告其情绪唤醒水平,以此验证该方法。我们开发了一个能够预测光照对瞳孔大小影响的模型,该模型将屏幕亮度作为函数输入,并通过简短的实验前校准适应个体生理差异与不同类型的显示器。由此,我们估算了仅由光照引起的瞳孔大小,并将其从记录的总瞳孔大小中减去,从而得到仅由情绪唤醒引起的分量。基于此分量,我们使用两种模型预测了每位参与者对每段视频的唤醒度。首先采用简单线性回归模型。当使用经光照校正的瞳孔大小时,预测唤醒度与自报告唤醒度之间的相关系数 r = 0.65 +/- 0.12,决定系数 R2 = 0.43 +/- 0.12。而未校正的瞳孔大小则几乎无预测能力(r = 0.26 +/- 0.15, R2 = 0.09 +/- 0.089)。随后我们采用极端梯度提升模型,在光照校正情况下获得了更优结果(r = 0.765 +/- 0.047, R2 = 0.556 +/- 0.085)。我们的研究结果凸显了从瞳孔响应中分离情绪成分与光照成分对于准确预测情绪唤醒至关重要。

0
下载
关闭预览

相关内容

多模态对话情感识别:方法、趋势、挑战与前景综述
专知会员服务
20+阅读 · 2025年5月28日
多模态情绪识别研究综述
专知会员服务
170+阅读 · 2020年12月21日
多模态情绪识别研究综述
专知
25+阅读 · 2020年12月21日
【论文分享】ACL 2020 细粒度情感分析方法
深度学习自然语言处理
10+阅读 · 2020年8月20日
【情感分析】情感分析研究的新视野
深度学习自然语言处理
16+阅读 · 2020年3月10日
【团队新作】连续情感识别,精准捕捉你的小情绪!
中国科学院自动化研究所
16+阅读 · 2018年4月17日
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
VIP会员
相关VIP内容
多模态对话情感识别:方法、趋势、挑战与前景综述
专知会员服务
20+阅读 · 2025年5月28日
多模态情绪识别研究综述
专知会员服务
170+阅读 · 2020年12月21日
相关资讯
多模态情绪识别研究综述
专知
25+阅读 · 2020年12月21日
【论文分享】ACL 2020 细粒度情感分析方法
深度学习自然语言处理
10+阅读 · 2020年8月20日
【情感分析】情感分析研究的新视野
深度学习自然语言处理
16+阅读 · 2020年3月10日
【团队新作】连续情感识别,精准捕捉你的小情绪!
中国科学院自动化研究所
16+阅读 · 2018年4月17日
相关基金
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员