Providing timely and meaningful feedback remains a persistent challenge in higher education, especially in large courses where teachers must balance formative depth with scalability. Recent advances in Generative Artificial Intelligence (GenAI) offer new opportunities to support feedback processes while maintaining human oversight. This paper presents an study conducted within the AICoFe (AI-based Collaborative Feedback) system, which integrates teacher, peer, and self-assessments of engineering students' oral presentations. Using a validated rubric, 46 evaluation sets were analyzed to examine agreement, correlation, and bias across evaluators. The analyses revealed consistent overall alignment among sources but also systematic variations in scoring behavior, reflecting distinct evaluative perspectives. These findings informed the proposal of an enhanced GenAI model within AICoFe system, designed to integrate human assessments through weighted input aggregation, bias detection, and context-aware feedback generation. The study contributes empirical evidence and design principles for developing GenAI-based feedback systems that combine data-based efficiency with pedagogical validity and transparency.


翻译:在高等教育中,提供及时且有意义的反馈始终是一项持续的挑战,尤其是在大规模课程中,教师必须在形成性反馈的深度与可扩展性之间取得平衡。生成式人工智能(GenAI)的最新进展为支持反馈过程同时保持人工监督提供了新的机遇。本文介绍了在AICoFe(基于人工智能的协作反馈)系统中进行的一项研究,该系统整合了教师、同伴及学生对工程专业学生口头陈述的评估。通过使用经过验证的评分标准,分析了46组评估数据,以考察不同评估者之间的一致性、相关性及偏差。分析结果显示,各评估来源在整体上具有一致性,但也存在评分行为的系统性差异,这反映了不同的评估视角。基于这些发现,本文提出了在AICoFe系统中增强的GenAI模型方案,该模型旨在通过加权输入聚合、偏差检测及情境感知反馈生成,整合人工评估。本研究为开发基于GenAI的反馈系统提供了实证证据与设计原则,此类系统将数据驱动的效率与教学有效性及透明度相结合。

0
下载
关闭预览

相关内容

《生成式人工智能及其在防御性网络安全课程中的应用》
专知会员服务
16+阅读 · 2025年10月30日
用于自动驾驶的生成式人工智能:前沿与机遇
专知会员服务
26+阅读 · 2025年5月16日
生成式人工智能应用发展报告(2024)
专知会员服务
76+阅读 · 2024年12月8日
生成式人工智能在可视化中的应用:现状与未来方向
专知会员服务
41+阅读 · 2024年6月8日
《评估生成式人工智能的红队方法》最新37页长综述
专知会员服务
56+阅读 · 2024年5月27日
【新书】生成式AI在高等教育中:ChatGPT效应,287页pdf
专知会员服务
50+阅读 · 2024年3月22日
人工智能在教育领域的应用探析
MOOC
14+阅读 · 2019年3月16日
【强化学习】强化学习+深度学习=人工智能
产业智能官
55+阅读 · 2017年8月11日
国家自然科学基金
3+阅读 · 2017年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2013年12月31日
国家自然科学基金
23+阅读 · 2009年12月31日
VIP会员
相关基金
国家自然科学基金
3+阅读 · 2017年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2013年12月31日
国家自然科学基金
23+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员