This study analyzes behavioral engagement in SONAR, a virtual reality application designed for sign language training and validation. We focus on three automatically derived engagement indicators (Visual Attention (VA), Video Replay Frequency (VRF), and Post-Playback Viewing Time (PPVT)) and examine their relationship with learning performance. Participants completed a self-paced Training phase, followed by a Validation quiz assessing retention. We employed Pearson correlation analysis to examine the relationships between engagement indicators and quiz performance, followed by binomial Generalized Linear Model (GLM) regression to assess their joint predictive contributions. Additionally, we conducted temporal analysis by aggregating moment-to-moment VA traces across all learners to characterize engagement dynamics during the learning session. Results show that VA exhibits a strong positive correlation with quiz performance,followed by PPVT, whereas VRF shows no meaningful association. A binomial GLM confirms that VA and PPVT are significant predictors of learning success, jointly explaining a substantial proportion of performance variance. Going beyond outcome-oriented analysis, we characterize temporal engagement patterns by aggregating moment-to-moment VA traces across all learners. The temporal profile reveals distinct attention peaks aligned with informationally dense segments of both training and validation videos, as well as phase-specific engagement dynamics, including initial acclimatization, oscillatory attention cycles during learning, and pronounced attentional peaks during assessment. Together, these findings highlight the central role of sustained and strategically allocated visual attention in VR-based sign language learning and demonstrate the value of behavioral trace data for understanding and predicting learner engagement in immersive environments.


翻译:本研究分析了SONAR(一款专为手语训练与验证设计的虚拟现实应用)中的行为参与模式。我们聚焦于三种自动获取的参与度指标(视觉注意力VA、视频重播频率VRF、播放后观看时长PPVT),并探究其与学习表现的关系。受试者完成自定进度的训练阶段后,参与评估知识保留的验证测验。采用皮尔逊相关分析检验参与度指标与测验表现的关系,继而通过二项广义线性模型回归评估其联合预测贡献。此外,通过聚合所有学习者逐时刻VA轨迹进行时间动态分析,表征学习过程中的参与度变化特征。结果显示:VA与测验表现呈显著正相关,PPVT次之,而VRF无显著关联。二项广义线性模型证实VA与PPVT是学习成功的显著预测因子,共同解释表现变异的较大比例。突破结果导向分析,我们通过聚合所有学习者的逐时刻VA轨迹,刻画时间维度的参与模式。时间剖面图显示:信息密度高的训练/验证视频片段对应明确的注意力峰值,以及阶段特异性参与动态(包括初期适应阶段、学习过程中的注意力波动周期、评估阶段的显著注意力峰值)。这些发现共同揭示了持续性、战略性分配的视觉注意力在VR手语学习中的核心作用,并证明了行为轨迹数据对理解与预测沉浸式环境中学习者参与度的价值。

0
下载
关闭预览

相关内容

【博士论文】学习视觉-语言表示以实现多模态理解
专知会员服务
28+阅读 · 2025年2月8日
标注受限场景下的视觉表征与理解
专知会员服务
14+阅读 · 2025年2月6日
《视觉Transformers自监督学习机制综述》
专知会员服务
29+阅读 · 2024年9月2日
【斯坦福博士论文】生成模型的视觉与行为
专知会员服务
33+阅读 · 2024年7月11日
专知会员服务
24+阅读 · 2021年7月10日
基于深度学习的手语识别综述
专知会员服务
47+阅读 · 2020年5月18日
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
最新内容
综述 | 3D场景图:开放挑战与未来方向
专知会员服务
1+阅读 · 今天15:00
21世纪的无人机战争
专知会员服务
2+阅读 · 今天14:05
《量子技术的军事任务技术适配与利用》
专知会员服务
2+阅读 · 今天13:51
美国从乌克兰无人机战争中学习经验
专知会员服务
7+阅读 · 6月21日
ICML 2026 | 面向视觉语言模型的语义鲁棒性认证
专知会员服务
5+阅读 · 6月21日
相关资讯
相关基金
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员