Generative AI chatbots enable personalized problem-solving, but effective learning requires students to self-regulate both how they seek help and how they use AI-generated responses. Considering engagement modes across these two actions reveals nuanced reliance patterns: for example, a student may actively engage in help-seeking by clearly specifying areas of need, yet engage passively in response-use by copying AI outputs, or vice versa. However, existing research lacks systematic tools for jointly capturing engagement across help-seeking and response-use, limiting the analysis of such reliance behaviors. We introduce RelianceScope, an analytical framework that characterizes students' reliance on chatbots during problem-solving. RelianceScope (1) operationalizes reliance into nine patterns based on combinations of engagement modes in help-seeking and response-use, and (2) situates these patterns within a knowledge-context lens that accounts for students' prior knowledge and the instructional significance of knowledge components. Rather than prescribing optimal AI use, the framework enables fine-grained analysis of reliance in open-ended student-AI interactions. As an illustrative application, we applied RelianceScope to analyze chat and code-edit logs from 79 college students in a web programming course. Results show that active help-seeking is associated with active response-use, whereas reliance patterns remain similar across knowledge mastery levels. Students often struggled to articulate their knowledge gaps and to adapt AI responses. Using our annotated dataset as a benchmark, we further demonstrate that large language models can reliably detect reliance during help-seeking and response-use. We conclude by discussing the implications of RelianceScope and the design guidelines for AI-supported educational systems.


翻译:生成式AI聊天机器人能够实现个性化问题解决,但有效学习要求学生自我调节其求助方式以及使用AI生成回答的方式。综合考虑这两类行为中的参与模式,可以揭示细微的依赖模式:例如,学生可能在求助时通过明确说明需求区域表现出积极参与,而在使用回答时被动复制AI输出,反之亦然。然而,现有研究缺乏系统化工具来共同捕捉求助和回答使用中的参与行为,从而限制了对此类依赖行为的分析。我们提出RelianceScope这一分析框架,用于描述学生在问题解决过程中对聊天机器人的依赖特征。RelianceScope:(1)基于求助和回答使用中的参与模式组合,将依赖操作化为九种模式;(2)将这些模式置于知识-情境视角下,考虑学生先验知识与知识组件的教学显著性。该框架并非规定最优AI使用方式,而是能够对开放式学生-AI互动中的依赖行为进行细粒度分析。作为示例应用,我们应用RelianceScope分析了79名大学生在网络编程课程中的聊天记录和代码编辑日志。结果表明:积极求助与积极使用回答相关,而依赖模式在不同知识掌握水平下保持相似。学生常难以阐明自身知识缺口并适应AI回答。以我们标注的数据集为基准,我们进一步证明大语言模型能够可靠地检测求助和回答使用中的依赖行为。最后,我们讨论了RelianceScope的意义及AI支持教育系统的设计准则。

0
下载
关闭预览

相关内容

人工智能杂志AI(Artificial Intelligence)是目前公认的发表该领域最新研究成果的主要国际论坛。该期刊欢迎有关AI广泛方面的论文,这些论文构成了整个领域的进步,也欢迎介绍人工智能应用的论文,但重点应该放在新的和新颖的人工智能方法如何提高应用领域的性能,而不是介绍传统人工智能方法的另一个应用。关于应用的论文应该描述一个原则性的解决方案,强调其新颖性,并对正在开发的人工智能技术进行深入的评估。 官网地址:http://dblp.uni-trier.de/db/journals/ai/
《生成式人工智能及其在防御性网络安全课程中的应用》
专知会员服务
19+阅读 · 2025年10月30日
AI教育的落地深度研究:复盘、对比和商业化
专知会员服务
16+阅读 · 2025年4月3日
【ChatGPT系列报告】AIGC行业研究框架与投资逻辑,39页pdf
专知会员服务
67+阅读 · 2023年4月22日
人工智能在教育领域的应用探析
MOOC
14+阅读 · 2019年3月16日
【强化学习】强化学习+深度学习=人工智能
产业智能官
55+阅读 · 2017年8月11日
国家自然科学基金
43+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
21+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2013年12月31日
国家自然科学基金
23+阅读 · 2009年12月31日
国家自然科学基金
50+阅读 · 2009年12月31日
VIP会员
最新内容
综述 | 世界动作模型:少做梦,多行动
专知会员服务
4+阅读 · 6月23日
美以伊冲突:无人机与人工智能的运用
专知会员服务
7+阅读 · 6月23日
《特种部队在透明战场中的生存力》最新报告
专知会员服务
4+阅读 · 6月23日
综述 | 3D场景图:开放挑战与未来方向
专知会员服务
8+阅读 · 6月22日
21世纪的无人机战争
专知会员服务
4+阅读 · 6月22日
《量子技术的军事任务技术适配与利用》
专知会员服务
5+阅读 · 6月22日
相关基金
国家自然科学基金
43+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
21+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2013年12月31日
国家自然科学基金
23+阅读 · 2009年12月31日
国家自然科学基金
50+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员