The development of effective autograders is key for scaling assessment and feedback. While NLP based autograding systems for open-ended response questions have been found to be beneficial for providing immediate feedback, autograders are not always liked, understood, or trusted by students. Our research tested the effect of transparency on students' attitudes towards autograders. Transparent autograders increased students' perceptions of autograder accuracy and willingness to discuss autograders in survey comments, but did not improve other related attitudes -- such as willingness to be graded by them on a test -- relative to the control without transparency. However, this lack of impact may be due to higher measured student trust towards autograders in this study than in prior work in the field. We briefly discuss possible reasons for this trend.


翻译:开发有效的自动评分系统是扩大评估与反馈规模的关键。尽管基于自然语言处理的开放式问答题自动评分系统已被证实有助于提供即时反馈,但学生并不总是喜欢、理解或信任这类系统。本研究检验了透明度对学生自动评分系统态度的影响。透明化的自动评分系统提升了学生对评分准确性的感知,并增强了他们在调查评论中讨论该系统的意愿,但与未提供透明度的对照组相比,并未改善其他相关态度——例如在测试中接受其评分的意愿。然而,这种影响的缺失可能源于本研究中学生对自动评分系统的信任度高于该领域先前研究测得的结果。我们简要讨论了这一趋势的可能成因。

0
下载
关闭预览

相关内容

《军事人工智能系统与透明度》最新报告
专知会员服务
26+阅读 · 2025年2月5日
《人机交互中机器学习的透明通信》论文
专知会员服务
33+阅读 · 2023年3月12日
可解释强化学习,Explainable Reinforcement Learning: A Survey
专知会员服务
132+阅读 · 2020年5月14日
浅谈最广泛应用的金融风控算法-评分卡
凡人机器学习
10+阅读 · 2020年8月3日
深度 | 推荐系统评估
AI100
24+阅读 · 2019年3月16日
知识在检索式对话系统的应用
微信AI
32+阅读 · 2018年9月20日
深度学习中的注意力机制
人工智能头条
16+阅读 · 2017年11月2日
深度学习在情感分析中的应用
CSDN大数据
14+阅读 · 2017年8月22日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员