The rise of large language models for code has reshaped software development. Autonomous coding agents, able to create branches, open pull requests, and perform code reviews, now actively contribute to real-world projects. Their growing role offers a unique and timely opportunity to investigate AI-driven contributions and their effects on code quality, team dynamics, and software maintainability. In this work, we construct a novel dataset of approximately $110,000$ open-source pull requests, including associated commits, comments, reviews, issues, and file changes, collectively representing millions of lines of source code. We compare five popular coding agents, including OpenAI Codex, Claude Code, GitHub Copilot, Google Jules, and Devin, examining how their usage differs in various development aspects such as merge frequency, edited file types, and developer interaction signals, including comments and reviews. Furthermore, we emphasize that code authoring and review are only a small part of the larger software engineering process, as the resulting code must also be maintained and updated over time. Hence, we offer several longitudinal estimates of survival and churn rates for agent-generated versus human-authored code. Ultimately, our findings indicate an increasing agent activity in open-source projects, although their contributions are associated with more churn over time compared to human-authored code.


翻译:代码方面大语言模型的兴起重塑了软件开发。能够创建分支、发起拉取请求并进行代码审查的自主编码智能体,如今正积极地为真实项目做出贡献。它们日益增长的角色提供了一个独特且及时的契机,用以研究人工智能驱动的贡献及其对代码质量、团队动态和软件可维护性的影响。在本研究中,我们构建了一个包含约11万个开源拉取请求的新数据集,这些请求包括相关的提交、评论、审查、议题和文件变更,共同代表了数百万行源代码。我们比较了五种流行的编码智能体,包括OpenAI Codex、Claude Code、GitHub Copilot、Google Jules和Devin,考察了它们在不同开发方面的应用差异,例如合并频率、编辑的文件类型以及包含评论和审查在内的开发者交互信号。此外,我们强调代码编写与审查只是更广泛软件工程过程的一小部分,因为生成的代码也必须随着时间的推移得到维护和更新。因此,我们提供了关于智能体生成代码与人类编写代码存活率和流失率的几项纵向估计。最终,我们的研究结果表明,开源项目中的智能体活动日益增加,尽管与人类编写的代码相比,它们的贡献在随时间推移中与更高的流失率相关。

0
下载
关闭预览

相关内容

代码(Code)是专知网的一个重要知识资料文档板块,旨在整理收录论文源代码、复现代码,经典工程代码等,便于用户查阅下载使用。
AI智能体驱动产业变革研究报告
专知会员服务
40+阅读 · 2025年11月29日
基于大模型的智能体中由自主性引发的安全风险综述
专知会员服务
18+阅读 · 2025年7月1日
AI Agent:基于大模型的自主智能体
专知会员服务
250+阅读 · 2023年9月9日
一文看懂AutoEncoder模型演进图谱
AINLP
12+阅读 · 2019年6月17日
人工智能对网络空间安全的影响
走向智能论坛
21+阅读 · 2018年6月7日
【干货】深入理解自编码器(附代码实现)
群体智能:新一代人工智能的重要方向
走向智能论坛
12+阅读 · 2017年8月16日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
52+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2013年12月31日
国家自然科学基金
21+阅读 · 2013年12月31日
国家自然科学基金
18+阅读 · 2009年12月31日
国家自然科学基金
17+阅读 · 2008年12月31日
Arxiv
14+阅读 · 2023年8月7日
VIP会员
最新内容
综述 | 3D场景图:开放挑战与未来方向
专知会员服务
7+阅读 · 6月22日
21世纪的无人机战争
专知会员服务
4+阅读 · 6月22日
《量子技术的军事任务技术适配与利用》
专知会员服务
5+阅读 · 6月22日
美国从乌克兰无人机战争中学习经验
专知会员服务
7+阅读 · 6月21日
ICML 2026 | 面向视觉语言模型的语义鲁棒性认证
专知会员服务
5+阅读 · 6月21日
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
52+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2013年12月31日
国家自然科学基金
21+阅读 · 2013年12月31日
国家自然科学基金
18+阅读 · 2009年12月31日
国家自然科学基金
17+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员