Knowledge Tracing (KT) aims to model student's knowledge state and predict future performance to enable personalized learning in Intelligent Tutoring Systems. However, traditional KT methods face fundamental limitations in explainability, as they rely solely on the response correctness, neglecting the rich information embedded in students' problem-solving processes. To address this gap, we propose Knowledge Tracing Leveraging Problem-Solving Process (KT-PSP), which incorporates students' problem-solving processes to capture the multidimensional aspects of mathematical proficiency. We also introduce KT-PSP-25, a new dataset specifically designed for the KT-PSP. Building on this, we present StatusKT, a KT framework that employs a teacher-student-teacher three-stage LLM pipeline to extract students' MP as intermediate signals. In this pipeline, the teacher LLM first extracts problem-specific proficiency indicators, then a student LLM generates responses based on the student's solution process, and a teacher LLM evaluates these responses to determine mastery of each indicator. The experimental results on KT-PSP-25 demonstrate that StatusKT improves the prediction performance of existing KT methods. Moreover, StatusKT provides interpretable explanations for its predictions by explicitly modeling students' mathematical proficiency.


翻译:知识追踪(KT)旨在建模学生的知识状态并预测其未来表现,从而在智能辅导系统中实现个性化学习。然而,传统的KT方法在可解释性方面存在根本性局限,因为它们仅依赖答题正确性,忽视了学生解题过程中蕴含的丰富信息。为弥补这一不足,我们提出了利用解题过程的知识追踪(KT-PSP),该方法通过整合学生的解题过程来捕捉数学能力的多维特征。我们还引入了专门为KT-PSP设计的新数据集KT-PSP-25。在此基础上,我们提出了StatusKT框架,该框架采用教师-学生-教师三阶段大语言模型(LLM)流程,将学生的数学能力(MP)作为中间信号进行提取。在此流程中,教师LLM首先提取问题特定的能力指标,随后学生LLM基于学生的解题过程生成作答,再由教师LLM评估这些作答以判定各指标的掌握程度。在KT-PSP-25数据集上的实验结果表明,StatusKT显著提升了现有KT方法的预测性能。此外,StatusKT通过显式建模学生的数学能力,为其预测提供了可解释的说明。

0
下载
关闭预览

相关内容

数学是关于数量、结构、变化等主题的探索。
【新书】数学的本质——通过基础问题探究,400页pdf
专知会员服务
91+阅读 · 2025年1月31日
深度学习驱动的知识追踪研究进展综述
专知会员服务
38+阅读 · 2021年11月15日
可解释强化学习,Explainable Reinforcement Learning: A Survey
专知会员服务
132+阅读 · 2020年5月14日
关系推理:基于表示学习和语义要素
计算机研究与发展
19+阅读 · 2017年8月22日
【强化学习】强化学习+深度学习=人工智能
产业智能官
55+阅读 · 2017年8月11日
国家自然科学基金
9+阅读 · 2017年12月31日
国家自然科学基金
43+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2014年12月31日
VIP会员
相关VIP内容
【新书】数学的本质——通过基础问题探究,400页pdf
专知会员服务
91+阅读 · 2025年1月31日
深度学习驱动的知识追踪研究进展综述
专知会员服务
38+阅读 · 2021年11月15日
可解释强化学习,Explainable Reinforcement Learning: A Survey
专知会员服务
132+阅读 · 2020年5月14日
相关基金
国家自然科学基金
9+阅读 · 2017年12月31日
国家自然科学基金
43+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员