As generative AI systems are integrated into educational settings, students often encounter AI-generated output while working through learning tasks, either by requesting help or through integrated tools. Trust in AI can influence how students interpret and use that output, including whether they evaluate it critically or exhibit overreliance. We investigate how students' trust relates to their appropriate reliance on an AI assistant during programming problem-solving tasks, and whether this relationship differs by learner characteristics. With 432 undergraduate participants, students' completed Python output-prediction problems while receiving recommendations and explanations from an AI chatbot, including accurate and intentionally misleading suggestions. We operationalize reliance behaviorally as the extent to which students' responses reflected appropriate use of the AI assistant's suggestions, accepting them when they were correct and rejecting them when they were incorrect. Pre- and post-task surveys assessed trust in the assistant, AI literacy, need for cognition, programming self-efficacy, and programming literacy. Results showed a non-linear relationship in which higher trust was associated with lower appropriate reliance, suggesting weaker discrimination between correct and incorrect recommendations. This relationship was significantly moderated by students' AI literacy and need for cognition. These findings highlight the need for future work on instructional and system supports that encourage more reflective evaluation of AI assistance during problem-solving.


翻译:随着生成式人工智能系统融入教育环境,学生在完成学习任务时常常会遇到人工智能生成的输出——无论是主动寻求帮助还是通过集成工具获得。对人工智能的信任会影响学生如何解读和运用这些输出,包括他们是进行批判性评估还是表现出过度依赖。我们研究了学生在编程问题解决任务中对人工智能助手的信任如何影响其合理依赖行为,以及这一关系是否因学习者特征而异。在432名本科生参与的研究中,学生需完成Python输出预测题,同时接收来自人工智能聊天机器人的建议与解释(包括准确和故意误导性建议)。我们将依赖行为操作化为学生回应反映其对人工智能助手建议的合理使用的程度——正确时接受、错误时拒绝。任务前后通过问卷评估了对助手的信任、人工智能素养、认知需求、编程自我效能感和编程素养。结果显示,信任与合理依赖呈非线性关系:较高信任度与较低合理依赖相关联,表明学生对正确与错误建议的区分能力减弱。这一关系受到学生人工智能素养和认知需求的显著调节。这些发现凸显了未来需研究如何通过教学和系统支持,鼓励学生在解决问题时对人工智能辅助进行更反思性的评估。

0
下载
关闭预览

相关内容

《人工智能辅助决策中信任的时间演化​​》225页
专知会员服务
25+阅读 · 2025年5月12日
《信任与人机协作》128页论文
专知会员服务
52+阅读 · 2023年11月22日
最新《可解释人工智能》概述,50页ppt
专知
12+阅读 · 2021年3月17日
【综述】医疗可解释人工智能综述论文
专知
33+阅读 · 2019年7月18日
人工智能训练师的再定义
竹间智能Emotibot
11+阅读 · 2019年5月15日
人工智能在教育领域的应用探析
MOOC
14+阅读 · 2019年3月16日
人工智能对网络空间安全的影响
走向智能论坛
21+阅读 · 2018年6月7日
【强化学习】强化学习+深度学习=人工智能
产业智能官
55+阅读 · 2017年8月11日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2013年12月31日
VIP会员
最新内容
网状网络及其在军事领域的运用
专知会员服务
1+阅读 · 今天6:18
无美国参与的欧洲战争方式(万字长文)
专知会员服务
2+阅读 · 今天5:54
《国防领域敏感性分析白皮书》
专知会员服务
1+阅读 · 今天3:42
综述 | 从问答到任务完成:Agent系统与Harness设计
Agentic RL:框架、实践与长程智能体训练
专知会员服务
3+阅读 · 6月24日
重新思考无人机时代的生存能力
专知会员服务
7+阅读 · 6月24日
装甲突击旅:现代战争思考、战斗与组织
专知会员服务
5+阅读 · 6月24日
在人工智能加速决策环境中拓展OODA循环
专知会员服务
7+阅读 · 6月24日
军事欺骗:供作战战术指挥官使用的工具
专知会员服务
5+阅读 · 6月24日
相关VIP内容
相关基金
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2013年12月31日
Top
微信扫码咨询专知VIP会员