Differential item functioning (DIF) detection is an important yet understudied problem in computerized adaptive testing (CAT). In this article, we proposed a two-level logistic model to improve DIF detection in CAT by explicitly accounting for nuisance effects arising from CAT-induced structural dependency. First, we conceptualized that adaptive item selection induces systematic dependencies among examinees and items through provisional ability estimates, whereas traditional single-level DIF methods assume independent observations and may yield misleading results in CAT settings. Then, using a numeric example and Monte Carlo simulations, we compared our proposed two-level model with competing single-level models under various CAT conditions, manipulating test length, exposure control, ability estimator, DIF type, and DIF prevalence. Item-level Type-I error and statistical power conditional on joint model convergence were reported for each model. We showed that the proposed two-level model has improved control of spurious DIF and competitive power relative to single-level models, particularly with shorter tests and smaller exposure rates. However, we observed that the model convergence varied systematically across simulated conditions, highlighting that inferential accuracy and convergence reliability are intertwined in complex CAT DIF settings. Through this study, we underscored both the promise of multilevel DIF modeling in CAT and the need for future research to jointly evaluate convergence and inferential performance when assessing DIF models.


翻译:差异题功能(DIF)检测是计算机自适应测试(CAT)中重要但研究不足的问题。本文提出一个两层逻辑模型,通过显式处理CAT诱导的结构性依赖产生的干扰效应,来改进CAT中的DIF检测。首先,我们论证了自适应选题会通过临时能力估计值在考生与题目之间引发系统性依赖关系,而传统单层级DIF方法假设观测独立,可能在CAT情境下产生误导性结果。随后,通过数值示例和蒙特卡洛模拟,我们在不同CAT条件下(操控测试长度、曝光控制、能力估计方法、DIF类型及DIF发生率)将所提出的两层模型与竞争性单层模型进行比较。报告了各模型在联合模型收敛条件下的项目级第一类错误率和统计检验力。研究表明,相较于单层模型,本文提出的两层模型能更有效地控制虚假DIF并保持竞争性检验力,尤其在测试较短且曝光率较低时表现显著。然而,我们观察到模型收敛性随模拟条件系统性地变化,表明在复杂的CAT-DIF情境中,推断准确性与收敛可靠性相互交织。通过本研究,我们既强调了多层级DIF模型在CAT中的应用前景,也指出了未来研究需联合评估收敛性与推断性能来完善DIF模型评估的必要性。

0
下载
关闭预览

相关内容

【资源】领域自适应相关论文、代码分享
专知
32+阅读 · 2019年10月12日
基于机器学习的KPI自动化异常检测系统
运维帮
13+阅读 · 2017年8月16日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
7+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2009年12月31日
国家自然科学基金
17+阅读 · 2008年12月31日
VIP会员
最新内容
美国从乌克兰无人机战争中学习经验
专知会员服务
6+阅读 · 6月21日
ICML 2026 | 面向视觉语言模型的语义鲁棒性认证
专知会员服务
3+阅读 · 6月21日
学习数据的几何:形状空间分析数学综述
专知会员服务
10+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
12+阅读 · 6月17日
相关VIP内容
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
7+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2009年12月31日
国家自然科学基金
17+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员