This work presents a feasibility study of remote attention level estimation based on eye blink frequency. We first propose an eye blink detection system based on Convolutional Neural Networks (CNNs), very competitive with respect to related works. Using this detector, we experimentally evaluate the relationship between the eye blink rate and the attention level of students captured during online sessions. The experimental framework is carried out using a public multimodal database for eye blink detection and attention level estimation called mEBAL, which comprises data from 38 students and multiples acquisition sensors, in particular, i) an electroencephalogram (EEG) band which provides the time signals coming from the student's cognitive information, and ii) RGB and NIR cameras to capture the students face gestures. The results achieved suggest an inverse correlation between the eye blink frequency and the attention level. This relation is used in our proposed method called ALEBk for estimating the attention level as the inverse of the eye blink frequency. Our results open a new research line to introduce this technology for attention level estimation on future e-learning platforms, among other applications of this kind of behavioral biometrics based on face analysis.


翻译:这项工作根据眨眼频率对远程关注水平进行可行性研究。 我们首先提议基于进化神经网络(CNNs)的眼眨探测系统,该系统在相关作品中具有很高的竞争力。 我们使用该探测器实验评估眼眨率与在线课中学生的注意水平之间的关系。 实验框架使用公共多式联运数据库进行,以探测眼眨和注意水平估计,称为MEBAL,其中包括38个学生和多个获取传感器的数据,特别是i)电脑图(EEEEG)波段,提供学生认知信息产生的时间信号;以及(ii) RGB和NIR相机,以捕捉学生面对的姿态。取得的成果表明眼眨频率和注意力水平之间有反相关关系。在我们拟议的方法中使用了这一关系,即ALEBk,以估计眼眨频率的反比值。我们的结果开启了一条新的研究线,以引入这一技术,用于对未来电子学习平台进行注意水平估计,以及基于面部分析的这种行为学生物测定方法的其他应用。

0
下载
关闭预览

相关内容

深度学习搜索,Exploring Deep Learning for Search
专知会员服务
61+阅读 · 2020年5月9日
开源书:PyTorch深度学习起步
专知会员服务
51+阅读 · 2019年10月11日
机器学习入门的经验与建议
专知会员服务
94+阅读 · 2019年10月10日
计算机 | 入门级EI会议ICVRIS 2019诚邀稿件
Call4Papers
10+阅读 · 2019年6月24日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
【推荐】用Python/OpenCV实现增强现实
机器学习研究会
15+阅读 · 2017年11月16日
Arxiv
0+阅读 · 2022年2月15日
Arxiv
5+阅读 · 2021年4月21日
Arxiv
11+阅读 · 2019年4月15日
VIP会员
相关VIP内容
深度学习搜索,Exploring Deep Learning for Search
专知会员服务
61+阅读 · 2020年5月9日
开源书:PyTorch深度学习起步
专知会员服务
51+阅读 · 2019年10月11日
机器学习入门的经验与建议
专知会员服务
94+阅读 · 2019年10月10日
相关论文
Top
微信扫码咨询专知VIP会员