Student mistakes in mathematics are often systematic: a learner applies a coherent but wrong procedure and repeats it across contexts. We introduce MalruleLib, a learning-science-grounded framework that translates documented misconceptions into executable procedures, drawing on 67 learning-science and mathematics education sources, and generates step-by-step traces of malrule-consistent student work. We formalize a core student-modeling problem as Malrule Reasoning Accuracy (MRA): infer a misconception from one worked mistake and predict the student's next answer under cross-template rephrasing. Across nine language models (4B-120B), accuracy drops from 66% on direct problem solving to 40% on cross-template misconception prediction. MalruleLib encodes 101 malrules over 498 parameterized problem templates and produces paired dual-path traces for both correct reasoning and malrule-consistent student reasoning. Because malrules are executable and templates are parameterizable, MalruleLib can generate over one million instances, enabling scalable supervision and controlled evaluation. Using MalruleLib, we observe cross-template degradations of 10-21%, while providing student step traces improves prediction by 3-15%. We release MalruleLib as infrastructure for educational AI that models student procedures across contexts, enabling diagnosis and feedback that targets the underlying misconception.


翻译:学生在数学学习中出现的错误往往具有系统性:学习者会应用一套连贯但错误的解题步骤,并在不同情境中重复使用。本文提出MalruleLib,一个基于学习科学原理的框架,该框架将文献中记录的误解转化为可执行的解题步骤,借鉴了67个学习科学与数学教育领域的文献来源,并生成符合错误规则的逐步解题追踪。我们将核心的学生建模问题形式化为误解推理准确率:从一道错误解答中推断出学生的误解,并在跨模板重述的情境下预测学生的下一步答案。在九个语言模型(4B-120B参数规模)的测试中,准确率从直接解题的66%下降至跨模板误解预测的40%。MalruleLib编码了101种错误规则,覆盖498个参数化问题模板,并为正确推理和符合错误规则的学生推理生成成对的双路径追踪。由于错误规则可执行且模板可参数化,MalruleLib能够生成超过一百万条实例,实现可扩展的监督学习和受控评估。通过MalruleLib,我们观察到跨模板情境下模型性能下降10-21%,而提供学生步骤追踪可将预测准确率提升3-15%。我们将MalruleLib作为教育AI基础设施开源,支持跨情境的学生解题过程建模,为实现针对底层误解的诊断与反馈提供技术支持。

0
下载
关闭预览

相关内容

【2022新书】Python数学逻辑,285页pdf
专知
13+阅读 · 2022年11月24日
Single-Shot Object Detection with Enriched Semantics
统计学习与视觉计算组
14+阅读 · 2018年8月29日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
国家自然科学基金
17+阅读 · 2008年12月31日
VIP会员
相关资讯
【2022新书】Python数学逻辑,285页pdf
专知
13+阅读 · 2022年11月24日
Single-Shot Object Detection with Enriched Semantics
统计学习与视觉计算组
14+阅读 · 2018年8月29日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
国家自然科学基金
17+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员