AI coding agents are increasingly acting as autonomous contributors by generating and submitting pull requests (PRs). However, we lack empirical evidence on how these agent-generated PRs differ from human contributions, particularly in how they modify code and describe their changes. Understanding these differences is essential for assessing their reliability and impact on development workflows. Using the MSR 2026 Mining Challenge version of the AIDev dataset, we analyze 24,014 merged Agentic PRs (440,295 commits) and 5,081 merged Human PRs (23,242 commits). We examine additions, deletions, commits, and files touched, and evaluate the consistency between PR descriptions and their diffs using lexical and semantic similarity. Agentic PRs differ substantially from Human PRs in commit count (Cliff's $δ= 0.5429$) and show moderate differences in files touched and deleted lines. They also exhibit slightly higher description-to-diff similarity across all measures. These findings provide a large-scale empirical characterization of how AI coding agents contribute to open source development.


翻译:AI编码代理正日益作为自主贡献者,通过生成并提交拉取请求(PRs)参与开发。然而,我们缺乏关于这些代理生成的PR与人类贡献有何差异的实证证据,特别是在代码修改方式和变更描述方面。理解这些差异对于评估其可靠性及其对开发工作流程的影响至关重要。基于AIDev数据集的MSR 2026挖掘挑战版本,我们分析了24,014个已合并的代理PR(440,295次提交)和5,081个已合并的人类PR(23,242次提交)。我们考察了增删行数、提交次数、涉及文件等指标,并通过词汇与语义相似度评估了PR描述与其差异文件的一致性。代理PR在提交次数上与人类PR存在显著差异(Cliff's $δ= 0.5429$),在涉及文件数和删除行数上呈现中等程度差异,且在所有度量指标上均表现出略高的描述-差异相似度。这些发现为AI编码代理如何参与开源开发提供了大规模实证特征描述。

0
下载
关闭预览

相关内容

模式识别 Pattern Recognition
AI生成代码缺陷综述
专知会员服务
16+阅读 · 2025年12月8日
Al Agent:AI时代的软件革命
专知会员服务
44+阅读 · 2025年5月13日
《代理型人工智能全面指南》,45页ppt
专知会员服务
61+阅读 · 2025年2月12日
AI Agent:基于大模型的自主智能体
专知会员服务
248+阅读 · 2023年9月9日
推荐!《人与AI协作中的可解释人工智能》320页论文
专知会员服务
137+阅读 · 2023年7月31日
【干货】深入理解自编码器(附代码实现)
国家自然科学基金
2+阅读 · 2016年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2009年12月31日
VIP会员
相关基金
国家自然科学基金
2+阅读 · 2016年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员