AI coding agents are increasingly acting as autonomous contributors by generating and submitting pull requests (PRs). However, we lack empirical evidence on how these agent-generated PRs differ from human contributions, particularly in how they modify code and describe their changes. Understanding these differences is essential for assessing their reliability and impact on development workflows. Using the MSR 2026 Mining Challenge version of the AIDev dataset, we analyze 24,014 merged Agentic PRs (440,295 commits) and 5,081 merged Human PRs (23,242 commits). We examine additions, deletions, commits, and files touched, and evaluate the consistency between PR descriptions and their diffs using lexical and semantic similarity. Agentic PRs differ substantially from Human PRs in commit count (Cliff's $δ= 0.5429$) and show moderate differences in files touched and deleted lines. They also exhibit slightly higher description-to-diff similarity across all measures. These findings provide a large-scale empirical characterization of how AI coding agents contribute to open source development.


翻译:AI编码代理正日益作为自主贡献者,通过生成并提交拉取请求(PRs)参与开发。然而,我们缺乏关于这些代理生成的PR与人类贡献有何差异的实证证据,特别是在代码修改方式和变更描述方面。理解这些差异对于评估其可靠性及其对开发工作流程的影响至关重要。基于AIDev数据集的MSR 2026挖掘挑战版本,我们分析了24,014个已合并的代理PR(440,295次提交)和5,081个已合并的人类PR(23,242次提交)。我们考察了增删行数、提交次数、涉及文件等指标,并通过词汇与语义相似度评估了PR描述与其差异文件的一致性。代理PR在提交次数上与人类PR存在显著差异(Cliff's $δ= 0.5429$),在涉及文件数和删除行数上呈现中等程度差异,且在所有度量指标上均表现出略高的描述-差异相似度。这些发现为AI编码代理如何参与开源开发提供了大规模实证特征描述。

0
下载
关闭预览

相关内容

模式识别 Pattern Recognition
AI生成代码缺陷综述
专知会员服务
17+阅读 · 2025年12月8日
Al Agent:AI时代的软件革命
专知会员服务
48+阅读 · 2025年5月13日
《代理型人工智能全面指南》,45页ppt
专知会员服务
63+阅读 · 2025年2月12日
AI Agent:基于大模型的自主智能体
专知会员服务
250+阅读 · 2023年9月9日
推荐!《人与AI协作中的可解释人工智能》320页论文
专知会员服务
138+阅读 · 2023年7月31日
【干货】深入理解自编码器(附代码实现)
国家自然科学基金
2+阅读 · 2016年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2009年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
7+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
8+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
6+阅读 · 6月17日
相关基金
国家自然科学基金
2+阅读 · 2016年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员