Deployed knowledge-tracing models are typically frozen after training, yet systematic per-item logit bias arises, from limited per-item expressivity in backbone architectures and from post-deployment shifts in item properties, degrading prediction quality. Global post-hoc calibrators such as Platt scaling, temperature scaling, and isotonic regression improve probability estimates but leave discriminative ability, as measured by AUC, unchanged. This AUC invariance is a structural consequence of monotone score-only transforms; recovering the stranded discrimination requires conditioning on item identity. We propose SLC (State-space Logit Correction), which converts binary observations to Gaussian pseudo-observations via Laplace/IRLS, applies empirical-Bayes shrinkage through a Kalman smoother, and fits an offset-Platt link. The state-space formulation also yields a detectability bound that characterizes the Bernoulli information floor, explaining why temporal tracking provides no benefit at current data densities. Across four datasets, five backbones, and three seeds, SLC improves AUC on all four datasets and NLL on three, with the advantage concentrating on sparse items. Cross-domain controls suggest that the same phenomenon can arise beyond education when the deployed backbone leaves entity-level bias.


翻译:已部署的知识追踪模型通常在训练后被冻结,然而,由于骨干架构中每个项目表达能力有限以及部署后项目属性的变化,系统性的每个项目逻辑偏差会降低预测质量。全局后验校准器(如Platt缩放、温度缩放和保序回归)能改善概率估计,但无法改变AUC衡量的判别能力。这种AUC不变性是单调得分变换的结构性结果;恢复这种被搁置的判别能力需要以项目身份为条件。我们提出SLC(状态空间逻辑校正),该方法通过拉普拉斯/迭代加权最小二乘将二值观测转换为高斯伪观测,通过卡尔曼平滑器应用经验贝叶斯收缩,并拟合偏移Platt链接函数。状态空间公式还产生一个可检测性边界,刻画了伯努利信息下限,解释了为何在当前数据密度下时间跟踪无法带来收益。在四个数据集、五种骨干架构和三个随机种子上,SLC在所有四个数据集上提升了AUC,在三个数据集上改善了NLL,其优势集中于稀疏项目上。跨领域控制表明,当已部署骨干架构留下实体级偏差时,教育领域之外也可能出现相同现象。

0
下载
关闭预览

相关内容

【ETHZ博士论文】监督学习中的频谱偏差,149页pdf
专知会员服务
23+阅读 · 2024年3月16日
【AAAI2022】通过多任务学习改进证据深度学习
专知会员服务
20+阅读 · 2021年12月21日
「知识增强预训练语言模型」最新研究综述
专知
18+阅读 · 2022年11月18日
机器学习中如何处理不平衡数据?
机器之心
13+阅读 · 2019年2月17日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Arxiv
0+阅读 · 5月13日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
4+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
7+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
4+阅读 · 6月17日
相关VIP内容
【ETHZ博士论文】监督学习中的频谱偏差,149页pdf
专知会员服务
23+阅读 · 2024年3月16日
【AAAI2022】通过多任务学习改进证据深度学习
专知会员服务
20+阅读 · 2021年12月21日
相关资讯
「知识增强预训练语言模型」最新研究综述
专知
18+阅读 · 2022年11月18日
机器学习中如何处理不平衡数据?
机器之心
13+阅读 · 2019年2月17日
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员