The rapid adoption of large language models has led to the emergence of AI coding agents that autonomously create pull requests on GitHub. However, how these agents differ in their pull request description characteristics, and how human reviewers respond to them, remains underexplored. In this study, we conduct an empirical analysis of pull requests created by five AI coding agents using the AIDev dataset. We analyze agent differences in pull request description characteristics, including structural features, and examine human reviewer response in terms of review activity, response timing, sentiment, and merge outcomes. We find that AI coding agents exhibit distinct PR description styles, which are associated with differences in reviewer engagement, response time, and merge outcomes. We observe notable variation across agents in both reviewer interaction metrics and merge rates. These findings highlight the role of pull request presentation and reviewer interaction dynamics in human-AI collaborative software development.


翻译:大型语言模型的快速应用催生了能在GitHub上自主创建pull request的AI编程代理。然而,这些代理在pull request描述特征上的差异,以及人工审查者对其的响应方式,目前仍未得到充分探索。本研究基于AIDev数据集,对五种AI编程代理创建的pull request进行了实证分析。我们分析了代理在pull request描述特征(包括结构特征)上的差异,并从审查活动、响应时效、情感倾向与合并结果等维度考察了人工审查者的响应情况。研究发现,AI编程代理展现出具有差异性的PR描述风格,这些风格与审查者参与度、响应时间和合并结果的差异存在关联。我们观察到不同代理在审查者互动指标与合并率方面均存在显著差异。这些发现揭示了pull request呈现方式与审查者互动动态在人机协同软件开发中的重要作用。

0
下载
关闭预览

相关内容

《代理型人工智能全面指南》,45页ppt
专知会员服务
61+阅读 · 2025年2月12日
2024中国AI Agent行业研究报告|附60页PDF文件下载
专知会员服务
125+阅读 · 2024年4月30日
推荐!《人与AI协作中的可解释人工智能》320页论文
专知会员服务
137+阅读 · 2023年7月31日
AI可解释性文献列表
专知
43+阅读 · 2019年10月7日
Python机器学习课程(代码与教程)
专知
37+阅读 · 2019年5月13日
尽早跑通深度学习的实践代码,是入门深度学习的最快途径
算法与数据结构
22+阅读 · 2017年12月13日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2009年12月31日
VIP会员
相关VIP内容
相关基金
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员