Despite universal GenAI adoption, students cannot distinguish task performance from actual learning and lack skills to leverage AI for learning, leading to worse exam performance when AI use remains unreflective. Yet few interventions teaching students to prompt AI as a tutor rather than solution provider have been validated at scale through randomized controlled trials (RCTs). To bridge this gap, we conducted a semester-long RCT (N=979) with four ICAP framework-based instructional conditions varying in engagement intensity with a pre-test, immediate and delayed post-test and surveys. Mixed methods analysis results showed: (1) All conditions significantly improved prompting skills, with gains increasing progressively from Condition 1 to Condition 4, validating ICAP's cognitive engagement hierarchy; (2) for students with similar pre-test scores, higher learning gain in immediate post-test predict higher final exam score, though no direct between-group differences emerged; (3) Our interventions are suitable and scalable solutions for diverse educational contexts, resources and learners. Together, this study makes empirical and theoretical contributions: (1) theoretically, we provided one of the first large-scale RCTs examining how cognitive engagement shapes learning in prompting literacy and clarifying the relationship between learning-oriented prompting skills and broader academic performance; (2) empirically, we offered timely design guidance for transforming GenAI classroom policies into scalable, actionable prompting literacy instruction to advance learning in the era of Generative AI.


翻译:尽管生成式人工智能已被普遍采用,但学生难以区分任务表现与实际学习效果,且缺乏利用人工智能促进学习的技能,导致在无反思地使用人工智能时考试成绩反而下降。然而,目前鲜有通过随机对照试验大规模验证的干预措施,能够教导学生将人工智能作为导师而非答案提供者进行提示。为填补这一空白,我们开展了一项为期一学期的随机对照试验(N=979),设置了四种基于ICAP框架的教学条件,其认知参与强度依次递增,并包含前测、即时后测、延迟后测及问卷调查。混合方法分析结果显示:(1)所有条件均显著提升了学生的提示技能,且从条件1到条件4的增益逐步增加,验证了ICAP框架的认知参与层次理论;(2)对于前测成绩相近的学生,即时后测中较高的学习增益能够预测更高的期末考试成绩,尽管组间未出现直接的显著差异;(3)我们的干预措施适用于多样化的教育情境、资源与学习者群体,具备良好的可扩展性。本研究在实证与理论层面均作出贡献:(1)在理论上,我们首次通过大规模随机对照试验,探究了认知参与如何影响提示素养的学习过程,并厘清了以学习为导向的提示技能与广义学业表现之间的关系;(2)在实证上,我们为将生成式人工智能课堂政策转化为可扩展、可操作的提示素养教学提供了及时的设计指导,以推动生成式人工智能时代的学习发展。

0
下载
关闭预览

相关内容

生成人工智能如何改变军事行动
专知会员服务
63+阅读 · 2024年5月22日
CMU最新《生成式人工智能》课程,涵盖大模型最新技术
专知会员服务
101+阅读 · 2024年4月4日
人工智能在教育领域的应用探析
MOOC
14+阅读 · 2019年3月16日
基于逆强化学习的示教学习方法综述
计算机研究与发展
16+阅读 · 2019年2月25日
NLP中自动生产文摘(auto text summarization)
机器学习研究会
14+阅读 · 2017年10月10日
国家自然科学基金
4+阅读 · 2017年12月31日
国家自然科学基金
43+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
31+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2013年12月31日
国家自然科学基金
23+阅读 · 2009年12月31日
VIP会员
相关基金
国家自然科学基金
4+阅读 · 2017年12月31日
国家自然科学基金
43+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
31+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2013年12月31日
国家自然科学基金
23+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员