Generative artificial intelligence (GenAI) is increasingly used for programming, yet it remains unclear when and where GenAI tools lead to productivity gains. Evidence on the effects of GenAI on the long-term development of programming skills is similarly mixed. Here, we present a meta-analysis of $n = 23$ studies reporting $k = 27$ effect sizes to quantify the effect of GenAI-powered coding assistants on productivity and learning. We systematically searched (i) ACM, (ii) arXiv, (iii) Scopus, and (iv) Web of Science for studies published between 2019 and 2025. Studies were required to compare GenAI-assisted with unassisted programming using quantitative measures of (1) productivity (i.e., task completion time, commits, and lines of code) and (2) learning (i.e., exam performance). We assessed the risk of bias using RoB2 and ROBINS-I and compared standardized effect sizes using Hedges' $g$. We find a statistically significant, but moderate positive effect of GenAI assistance on developer productivity ($g = 0.33$, $95\%$ CI: $[0.09, 0.58]$), yet with substantial heterogeneity across settings. Notably, productivity gains tend to be larger in controlled experimental settings, while effects are smaller in open-source and enterprise contexts. In contrast, we find no statistically significant effect of GenAI assistance on learning outcomes ($g = 0.14$, $95\%$ CI: $[-0.18, 0.47]$). Overall, these results highlight that GenAI coding assistants can increase developer productivity, although these gains depend strongly on context. In educational settings, however, the use of GenAI does not consistently translate into improved learning or skill development, which highlights the need for careful integration of GenAI into computer science education.


翻译:生成式人工智能(GenAI)在编程领域的应用日益广泛,然而关于GenAI工具在何种情境下能够提升生产力仍不明确。现有证据对GenAI在编程技能长期发展中的作用同样存在矛盾。本文对23项研究报告的27个效应量进行元分析,以量化GenAI辅助编程工具对生产力与学习的影响。我们系统检索了(i)ACM、(ii)arXiv、(iii)Scopus与(iv)Web of Science中2019至2025年间发表的研究。所选研究需通过量化指标比较GenAI辅助编程与无辅助编程的差异:(1)生产力(任务完成时间、提交次数与代码行数)和(2)学习效果(考试成绩)。我们采用RoB2与ROBINS-I工具评估偏倚风险,并利用Hedges' g比较标准化效应量。研究发现,GenAI辅助对开发者生产力具有统计学显著但适度的正向影响(g = 0.33,95%置信区间:[0.09, 0.58]),但不同情境间存在显著异质性。值得注意的是,生产力提升在受控实验环境下更为显著,而在开源与企业环境中效应较小。相反,GenAI辅助对学习效果未发现统计学显著影响(g = 0.14,95%置信区间:[-0.18, 0.47])。整体而言,这些结果强调GenAI编码辅助工具能够提升开发者生产力,但其增益高度依赖具体情境。然而在教育环境中,GenAI的使用并未稳定转化为学习效果或技能提升的改善,这凸显了将GenAI审慎融入计算机科学教育的必要性。

0
下载
关闭预览

相关内容

《生成式人工智能及其在防御性网络安全课程中的应用》
专知会员服务
19+阅读 · 2025年10月30日
用于自动驾驶的生成式人工智能:前沿与机遇
专知会员服务
26+阅读 · 2025年5月16日
生成式人工智能在交通规划中的应用:综述
专知会员服务
17+阅读 · 2025年3月15日
生成式人工智能应用发展报告(2024)
专知会员服务
76+阅读 · 2024年12月8日
生成式人工智能在可视化中的应用:现状与未来方向
专知会员服务
42+阅读 · 2024年6月8日
可解释生成人工智能 (GenXAI):综述、概念化与研究议程
专知会员服务
39+阅读 · 2024年4月19日
【工业智能】人工智能在智能制造中的应用
产业智能官
22+阅读 · 2019年1月11日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2013年12月31日
国家自然科学基金
23+阅读 · 2009年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
7+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
8+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
6+阅读 · 6月17日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2013年12月31日
国家自然科学基金
23+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员