Effective educational AI depends on modeling student misconceptions. Such models enable realistic learner simulation and diagnostic, adaptive tutoring. However, instruction-tuning large language models on student responses containing misconception errors can degrade reasoning abilities, creating a tension between faithful misconception modeling and preserving correct reasoning in other contexts. To support both learner simulation and tutoring, we study two misconception-aware models: the Novice Student Misconception Model, trained to acquire a single misconception for simulating an individual student, and the Expert Tutor Misconception Model, trained on multiple misconceptions to capture the error patterns a tutor encounters across students. To study the misconception acquisition dynamics of both models, we develop MalAlgoLib, a library that generates algebra problems with correct solution traces and misconception-specific erroneous traces. Our experiments across three LLMs reveal that the student and the tutor model exhibit fundamentally different misconception acquisition dynamics. For the student model, a single misconception is not learned as a context-specific behavior. Models overapply it across problems, degrading correct-solving accuracy unless training includes correct examples to enforce boundaries. In contrast, the tutor model can learn multiple misconceptions jointly without sacrificing correct-solving accuracy. Critically, intermediate reasoning steps are the bottleneck. With final-answer supervision alone, models cannot learn where error enters the solution, so neither the student model nor the tutor model acquires misconceptions regardless of data size. Together, these results, enabled by MalAlgoLib, provide an interpretable account of misconception acquisition under instruction tuning and guidance for training misconception-aware LLMs while preserving correct reasoning.


翻译:有效的教育AI依赖于对学生误解的建模。此类模型能够实现真实的学习者模拟以及诊断性和适应性辅导。然而,在包含误解错误的学生回答上对大型语言模型进行指令微调可能会削弱其推理能力,从而在忠实建模误解与在其他情境中保持正确推理之间形成矛盾。为了同时支持学习者模拟和辅导,我们研究了两种具备误解感知能力的模型:新手学生误解模型,该模型被训练习得单一误解以模拟单个学生;以及专家导师误解模型,该模型在多种误解数据上训练,以捕捉导师在跨学生辅导中遇到的错误模式。为了研究这两种模型的误解习得动态,我们开发了MalAlgoLib,这是一个生成代数问题的库,包含正确的解题轨迹和特定误解引起的错误轨迹。我们在三种LLM上的实验表明,学生模型和导师模型展现出根本不同的误解习得动态。对于学生模型,单一误解并非作为上下文特定行为被学习;模型会将其过度应用于各种问题,除非训练中包含正确示例以界定边界,否则会降低正确解题准确率。相反,导师模型可以在不牺牲正确解题准确率的情况下联合学习多种误解。关键在于,中间推理步骤是瓶颈。如果仅依赖最终答案的监督信号,模型无法学习错误进入解题过程的环节,因此无论数据规模如何,学生模型和导师模型都无法习得误解。综合来看,这些由MalAlgoLib实现的结果,为指令微调下误解习得问题提供了可解释的说明,并为在保持正确推理的同时训练具备误解感知能力的LLM提供了指导。

0
下载
关闭预览

相关内容

大型语言模型的规模效应局限
专知会员服务
14+阅读 · 2025年11月18日
大语言模型与视觉模型中的幻觉现象理解综述
专知会员服务
21+阅读 · 2025年10月2日
当持续学习遇上多模态大型语言模型:综述
专知会员服务
32+阅读 · 2025年3月5日
可解释人工智能(XAI):从内在可解释性到大语言模型
专知会员服务
34+阅读 · 2025年1月20日
迈向可解释和可理解的多模态大规模语言模型
专知会员服务
41+阅读 · 2024年12月7日
大语言模型对齐研究综述
专知会员服务
56+阅读 · 2024年8月1日
《高效多模态大型语言模型》综述
专知会员服务
73+阅读 · 2024年5月20日
【斯坦福博士论文】在语言模型融合多模态知识,225页pdf
「知识增强预训练语言模型」最新研究综述
专知
18+阅读 · 2022年11月18日
深度学习模型可解释性的研究进展
专知
26+阅读 · 2020年8月1日
绝对干货!NLP预训练模型:从transformer到albert
新智元
13+阅读 · 2019年11月10日
8月最新-《可解释机器学习-Christoph Molnar》-新书分享
深度学习与NLP
10+阅读 · 2019年8月12日
基于面部表情的学习困惑自动识别法
MOOC
10+阅读 · 2018年9月17日
NLP通用模型诞生?一个模型搞定十大自然语言常见任务
人工智能头条
10+阅读 · 2018年6月29日
【学界】机器学习模型的“可解释性”到底有多重要?
GAN生成式对抗网络
12+阅读 · 2018年3月3日
机器学习模型的“可解释性”到底有多重要?
中国科学院自动化研究所
20+阅读 · 2018年3月1日
国家自然科学基金
43+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
Arxiv
25+阅读 · 2023年6月23日
A Survey of Large Language Models
Arxiv
501+阅读 · 2023年3月31日
VIP会员
最新内容
综述 | 世界动作模型:少做梦,多行动
专知会员服务
0+阅读 · 10分钟前
美以伊冲突:无人机与人工智能的运用
专知会员服务
1+阅读 · 22分钟前
《特种部队在透明战场中的生存力》最新报告
专知会员服务
1+阅读 · 42分钟前
《人工智能生成的零日漏洞:对未来作战的影响》
综述 | 3D场景图:开放挑战与未来方向
专知会员服务
8+阅读 · 6月22日
21世纪的无人机战争
专知会员服务
4+阅读 · 6月22日
《量子技术的军事任务技术适配与利用》
专知会员服务
5+阅读 · 6月22日
美国从乌克兰无人机战争中学习经验
专知会员服务
7+阅读 · 6月21日
相关VIP内容
大型语言模型的规模效应局限
专知会员服务
14+阅读 · 2025年11月18日
大语言模型与视觉模型中的幻觉现象理解综述
专知会员服务
21+阅读 · 2025年10月2日
当持续学习遇上多模态大型语言模型:综述
专知会员服务
32+阅读 · 2025年3月5日
可解释人工智能(XAI):从内在可解释性到大语言模型
专知会员服务
34+阅读 · 2025年1月20日
迈向可解释和可理解的多模态大规模语言模型
专知会员服务
41+阅读 · 2024年12月7日
大语言模型对齐研究综述
专知会员服务
56+阅读 · 2024年8月1日
《高效多模态大型语言模型》综述
专知会员服务
73+阅读 · 2024年5月20日
【斯坦福博士论文】在语言模型融合多模态知识,225页pdf
相关资讯
「知识增强预训练语言模型」最新研究综述
专知
18+阅读 · 2022年11月18日
深度学习模型可解释性的研究进展
专知
26+阅读 · 2020年8月1日
绝对干货!NLP预训练模型:从transformer到albert
新智元
13+阅读 · 2019年11月10日
8月最新-《可解释机器学习-Christoph Molnar》-新书分享
深度学习与NLP
10+阅读 · 2019年8月12日
基于面部表情的学习困惑自动识别法
MOOC
10+阅读 · 2018年9月17日
NLP通用模型诞生?一个模型搞定十大自然语言常见任务
人工智能头条
10+阅读 · 2018年6月29日
【学界】机器学习模型的“可解释性”到底有多重要?
GAN生成式对抗网络
12+阅读 · 2018年3月3日
机器学习模型的“可解释性”到底有多重要?
中国科学院自动化研究所
20+阅读 · 2018年3月1日
相关基金
国家自然科学基金
43+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员