Over-reliance on AI systems can undermine users' critical thinking and promote complacency, a risk intensified by the emergence of agentic AI systems that operate with minimal human involvement. In software engineering, agentic coding assistants are rapidly becoming embedded in everyday development workflows. Since software engineers create systems deployed across diverse and high-stakes real-world contexts, these assistants must function not merely as autonomous task performers but as Tools for Thought that actively support human reasoning and sensemaking. We conducted a formative study examining software engineers' cognitive engagement and sensemaking processes when working with an agentic coding assistant. Our findings reveal that cognitive engagement consistently declines as tasks progress, and that current agentic coding assistants' designs provide limited affordances for reflection, verification, and meaning-making. Based on these findings, e identify concrete design opportunities leveraging richer interaction modalities and cognitive-forcing mechanisms to sustain engagement and promote deeper thinking in AI-assisted programming.


翻译:过度依赖人工智能系统可能削弱用户的批判性思维并助长自满情绪,而自主人工智能系统的出现——其运作几乎无需人工干预——加剧了这一风险。在软件工程领域,自主编码助手正迅速融入日常开发工作流程。鉴于软件工程师构建的系统将部署于多样化且高风险的真实场景,这些助手必须不仅作为自主任务执行者,更应成为积极支持人类推理与意义建构的"思维工具"。我们开展了一项形成性研究,考察软件工程师在使用自主编码助手时的认知参与及意义建构过程。研究发现:认知参与度随任务推进持续下降,且当前自主编码助手的设计在支持反思、验证与意义生成方面存在明显局限。基于这些发现,我们提出了具体的设计改进方向,通过利用更丰富的交互模式与认知强制机制来维持参与度,促进人工智能辅助编程中的深度思考。

0
下载
关闭预览

相关内容

软件(中国大陆及香港用语,台湾作软体,英文:Software)是一系列按照特定顺序组织的计算机数据和指令的集合。一般来讲软件被划分为编程语言、系统软件、应用软件和介于这两者之间的中间件。软件就是程序加文档的集合体。
《人工智能绝不能完全自主》
专知会员服务
29+阅读 · 2025年8月4日
《基于大型语言模型的软件工程自动化研究》最新264页
专知会员服务
38+阅读 · 2025年7月14日
《面向多计算系统的人工智能自主决策》330页
专知会员服务
64+阅读 · 2024年11月21日
AutoGPT太火了,无需人类插手自主完成任务,GitHub2.7万星
专知会员服务
43+阅读 · 2023年4月14日
《人工智能安全测评白皮书》,99页pdf
专知
36+阅读 · 2022年2月26日
Java 工程师快速入门深度学习,可以从 Deeplearning4j 开始
人工智能头条
13+阅读 · 2018年12月14日
数学是普通程序员入门人工智能的最大障碍
算法与数据结构
12+阅读 · 2018年7月27日
【干货】深入理解自编码器(附代码实现)
尽早跑通深度学习的实践代码,是入门深度学习的最快途径
算法与数据结构
22+阅读 · 2017年12月13日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2013年12月31日
VIP会员
最新内容
最新“指挥控制”领域出版物合集(简介)
专知会员服务
1+阅读 · 今天15:19
面向军事作战需求开发的人工智能(RAIMOND)
专知会员服务
3+阅读 · 今天15:13
软件定义多域战术网络:基础与未来方向(综述)
水下战战术决策中的气象与海洋预报(50页报告)
远程空中优势:新一代超视距导弹的兴起
专知会员服务
1+阅读 · 今天14:45
大语言模型溯因推理的统一分类学与综述
专知会员服务
0+阅读 · 今天12:07
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2013年12月31日
Top
微信扫码咨询专知VIP会员