[Context] AI assistants, like GitHub Copilot and Cursor, are transforming software engineering. While several studies highlight productivity improvements, their impact on maintainability requires further investigation. [Objective] This study investigates whether co-development with AI assistants affects software maintainability, specifically how easily other developers can evolve the resulting source code. [Method] We conducted a two-phase controlled experiment involving 151 participants, 95% of whom were professional developers. In Phase 1, participants added a new feature to a Java web application, with or without AI assistance. In Phase 2, a randomized controlled trial, new participants evolved these solutions without AI assistance. [Results] Phase 2 revealed no significant differences in subsequent evolution with respect to completion time or code quality. Bayesian analysis suggests that any speed or quality improvements from AI use were at most small and highly uncertain. Observational results from Phase 1 corroborate prior research: using an AI assistant yielded a 30.7% median reduction in completion time, and habitual AI users showed an estimated 55.9% speedup. [Conclusions] Overall, we did not detect systematic maintainability advantages or disadvantages when other developers evolved code co-developed with AI assistants. Within the scope of our tasks and measures, we observed no consistent warning signs of degraded code-level maintainability. Future work should examine risks such as code bloat from excessive code generation and cognitive debt as developers offload more mental effort to assistants.


翻译:[背景] GitHub Copilot和Cursor等AI助手正在变革软件工程领域。尽管多项研究强调了其带来的生产力提升,但这些工具对软件可维护性的影响仍需深入探究。[目标] 本研究旨在探究与AI助手协同开发是否会影响软件的可维护性,特别是其他开发者对生成源代码进行演化的难易程度。[方法] 我们开展了一项包含两个阶段的受控实验,共涉及151名参与者,其中95%为专业开发者。在第一阶段,参与者在使用或不使用AI辅助的情况下,为Java Web应用程序添加新功能。在第二阶段,通过随机对照试验,新参与者在无AI辅助的情况下对这些解决方案进行演化开发。[结果] 第二阶段实验显示,在后续演化过程中,完成时间和代码质量方面均未出现显著差异。贝叶斯分析表明,使用AI可能带来的速度或质量提升至多微乎其微且具有高度不确定性。第一阶段的观察结果印证了先前研究:使用AI助手使完成时间中位数减少30.7%,而习惯性AI用户估计可获得55.9%的速度提升。[结论] 总体而言,当其他开发者演化与AI助手协同开发的代码时,我们未检测到系统性的可维护性优势或劣势。在我们研究任务和度量指标的范围内,未观察到代码级可维护性下降的一致预警信号。未来研究应关注过度代码生成导致的代码膨胀,以及开发者将更多认知负荷转移给助手所产生的认知负债等风险。

0
下载
关闭预览

相关内容

人工智能杂志AI(Artificial Intelligence)是目前公认的发表该领域最新研究成果的主要国际论坛。该期刊欢迎有关AI广泛方面的论文,这些论文构成了整个领域的进步,也欢迎介绍人工智能应用的论文,但重点应该放在新的和新颖的人工智能方法如何提高应用领域的性能,而不是介绍传统人工智能方法的另一个应用。关于应用的论文应该描述一个原则性的解决方案,强调其新颖性,并对正在开发的人工智能技术进行深入的评估。 官网地址:http://dblp.uni-trier.de/db/journals/ai/
AI生成代码缺陷综述
专知会员服务
17+阅读 · 2025年12月8日
《人工智能:生成式AI的环境与人文影响》最新47页报告
专知会员服务
17+阅读 · 2025年7月15日
【新书】《学习AI辅助的Python编程(第2版)》
专知会员服务
69+阅读 · 2024年10月22日
《可解释人工智能在人工智能辅助决策中的作用综述》
专知会员服务
61+阅读 · 2024年1月4日
推荐!《人与AI协作中的可解释人工智能》320页论文
专知会员服务
137+阅读 · 2023年7月31日
AI可解释性文献列表
专知
43+阅读 · 2019年10月7日
可解释AI(XAI)工具集—DrWhy
专知
25+阅读 · 2019年6月4日
【资源推荐】AI可解释性资源汇总
专知
47+阅读 · 2019年4月24日
人工智能对网络空间安全的影响
走向智能论坛
21+阅读 · 2018年6月7日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 2月1日
VIP会员
最新内容
超越网格:作战环境对炮兵的影响
专知会员服务
0+阅读 · 24分钟前
KDD 2026 | MixRAGRec:面向LLM推荐的混合专家KG-RAG框架
BES:让语言模型通过双向进化搜索自我改进
专知会员服务
4+阅读 · 5月30日
以色列-美国-伊朗战争中的无人机:关键要点
专知会员服务
4+阅读 · 5月30日
《Palantir任务保障性软件安全标准(MA-S2)》
专知会员服务
14+阅读 · 5月30日
基于声学的无人机检测技术综述
专知会员服务
8+阅读 · 5月30日
《当代混合战争分析框架:俄乌战争经验教训》
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员