The expansion of large-scale online education platforms has made vast amounts of student interaction data available for knowledge tracing (KT). KT models estimate students' concept mastery from interaction data, but their performance is sensitive to input data quality. Gaming behaviors, such as excessive hint use, may misrepresent students' knowledge and undermine model reliability. However, systematic investigations of how different types of gaming behaviors affect KT remain scarce, and existing studies rely on costly manual analysis that does not capture behavioral diversity. In this study, we conceptualize gaming behaviors as a form of data poisoning, defined as the deliberate submission of incorrect or misleading interaction data to corrupt a model's learning process. We design Data Poisoning Attacks (DPAs) to simulate diverse gaming patterns and systematically evaluate their impact on KT model performance. Moreover, drawing on advances in DPA detection, we explore unsupervised approaches to enhance the generalizability of gaming behavior detection. We find that KT models' performance tends to decrease especially in response to random guess behaviors. Our findings provide insights into the vulnerabilities of KT models and highlight the potential of adversarial methods for improving the robustness of learning analytics systems.


翻译:随着大规模在线教育平台的扩展,海量学生交互数据为知识追踪(KT)提供了可能。KT模型通过交互数据评估学生的概念掌握程度,但其性能对输入数据质量高度敏感。游戏化行为(如过度使用提示)可能歪曲学生的真实知识水平,从而损害模型可靠性。然而,关于不同类型游戏化行为如何影响KT的系统性研究仍显不足,现有研究多依赖成本高昂的人工分析,且未能涵盖行为多样性。本研究将游戏化行为概念化为数据投毒的一种形式,即通过故意提交错误或误导性交互数据以破坏模型学习过程。我们设计了数据投毒攻击(DPAs)来模拟多样化的游戏行为模式,并系统评估其对KT模型性能的影响。此外,借鉴DPA检测领域的最新进展,我们探索了无监督方法来提升游戏行为检测的泛化能力。研究发现,KT模型性能在随机猜测行为面前表现尤为脆弱。本研究揭示了KT模型的潜在脆弱性,并强调了对抗性方法在提升学习分析系统鲁棒性方面的应用前景。

0
下载
关闭预览

相关内容

专知会员服务
112+阅读 · 2020年6月26日
国家自然科学基金
18+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
51+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
18+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
51+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员