Estimating cognitive load from speech has largely been studied in controlled laboratory settings, with limited understanding of its reliability in natural collaborative conversations. We investigate whether speech and interaction dynamics predict perceived cognitive load during dyadic conversations. We analyze audio from 53 dyads performing nine collaborative tasks and extract static acoustic, dynamic, and interaction features to train a two-head Gated Recurrent Unit encoder to predict cognitive load scores. Results show conversational interaction provides useful signals for predicting cognitive load related to time pressure, mental work, effort, and task performance. Temporal demand is associated with turn-taking dynamics such as overlap and speaker switch, while mental demand is linked to imbalanced participation between speakers. These findings highlight the importance of task structure and conversational interaction for modeling cognitive load in natural collaborative settings.


翻译:认知负荷的言语估计主要在受控实验室环境中进行研究,对其在自然协作对话中的可靠性认知有限。本研究探讨了言语与交互动态能否预测双人对话中的感知认知负荷。我们分析了53组双人在完成九项协作任务时的音频数据,提取静态声学、动态及交互特征,训练双头门控循环单元编码器以预测认知负荷评分。结果表明,对话交互为预测与时间压力、脑力劳动、努力程度及任务表现相关的认知负荷提供了有效信号。时间需求与话轮转换动态(如重叠与说话者切换)相关,而脑力需求则与说话者之间的参与不均衡有关。这些发现凸显了任务结构与对话交互在自然协作情境中建模认知负荷的重要性。

0
下载
关闭预览

相关内容

【博士论文】学习视觉-语言表示以实现多模态理解
专知会员服务
28+阅读 · 2025年2月8日
「知识增强预训练语言模型」最新研究综述
专知会员服务
62+阅读 · 2022年11月18日
多模态认知计算
专知会员服务
182+阅读 · 2022年9月16日
数据驱动的态势认知技术及发展思考
专知会员服务
154+阅读 · 2022年7月12日
专知会员服务
51+阅读 · 2021年9月25日
揭秘ChatGPT情感对话能力
专知
16+阅读 · 2023年4月9日
「知识增强预训练语言模型」最新研究综述
专知
18+阅读 · 2022年11月18日
数据驱动的态势认知技术及发展思考
专知
19+阅读 · 2022年7月12日
交互设计理论:视觉感知、认知摩擦、认知负荷和情境认知
人人都是产品经理
20+阅读 · 2018年5月10日
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
7+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
8+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
6+阅读 · 6月17日
相关基金
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员