Knowledge Tracing (KT) aims to model student's knowledge state and predict future performance to enable personalized learning in Intelligent Tutoring Systems. However, traditional KT methods face fundamental limitations in explainability, as they rely solely on the response correctness, neglecting the rich information embedded in students' problem-solving processes. To address this gap, we propose Knowledge Tracing Leveraging Problem-Solving Process (KT-PSP), which incorporates students' problem-solving processes to capture the multidimensional aspects of mathematical proficiency. We also introduce KT-PSP-25, a new dataset specifically designed for the KT-PSP. Building on this, we present StatusKT, a KT framework that employs a teacher-student-teacher three-stage LLM pipeline to extract students' MP as intermediate signals. In this pipeline, the teacher LLM first extracts problem-specific proficiency indicators, then a student LLM generates responses based on the student's solution process, and a teacher LLM evaluates these responses to determine mastery of each indicator. The experimental results on KT-PSP-25 demonstrate that StatusKT improves the prediction performance of existing KT methods. Moreover, StatusKT provides interpretable explanations for its predictions by explicitly modeling students' mathematical proficiency.


翻译:知识追踪(KT)旨在建模学生的知识状态并预测其未来表现,以实现智能辅导系统中的个性化学习。然而,传统KT方法在可解释性方面存在根本性局限,因其仅依赖答题正确性,忽略了学生问题解决过程中蕴含的丰富信息。为弥补这一不足,我们提出了利用问题解决过程的知识追踪(KT-PSP),该方法通过整合学生的问题解决过程来捕捉数学能力的多维特征。我们还引入了专门为KT-PSP设计的新数据集KT-PSP-25。在此基础上,我们提出了StatusKT框架,该框架采用教师-学生-教师三阶段大语言模型(LLM)流水线,将学生的数学能力(MP)作为中间信号进行提取。在该流水线中,教师LLM首先提取问题特定的能力指标,随后学生LLM基于学生的解题过程生成回答,再由教师LLM评估这些回答以确定各指标的掌握程度。在KT-PSP-25数据集上的实验结果表明,StatusKT显著提升了现有KT方法的预测性能。此外,StatusKT通过显式建模学生的数学能力,为其预测提供了可解释的说明。

0
下载
关闭预览

相关内容

数学是关于数量、结构、变化等主题的探索。
IEEE TPAMI | 基于标注偏差估计的实例相关PU学习
专知会员服务
12+阅读 · 2021年10月23日
【CVPR 2021】变换器跟踪TransT: Transformer Tracking
专知会员服务
22+阅读 · 2021年4月20日
【CIKM2020】多模态知识图谱推荐系统,Multi-modal KG for RS
专知会员服务
98+阅读 · 2020年8月24日
【NeurIPS2019】图变换网络:Graph Transformer Network
国家自然科学基金
17+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
Arxiv
1+阅读 · 2025年12月31日
VIP会员
相关VIP内容
IEEE TPAMI | 基于标注偏差估计的实例相关PU学习
专知会员服务
12+阅读 · 2021年10月23日
【CVPR 2021】变换器跟踪TransT: Transformer Tracking
专知会员服务
22+阅读 · 2021年4月20日
【CIKM2020】多模态知识图谱推荐系统,Multi-modal KG for RS
专知会员服务
98+阅读 · 2020年8月24日
相关基金
国家自然科学基金
17+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员