AI-based coding agents are increasingly integrated into software development workflows, collaborating with developers to create pull requests (PRs). Despite their growing adoption, the role of human-agent collaboration in software testing remains poorly understood. This paper presents an empirical study of 6,582 human-agent PRs (HAPRs) and 3,122 human PRs (HPRs) from the AIDev dataset. We compare HAPRs and HPRs along three dimensions: (i) testing frequency and extent, (ii) types of testing-related changes (code-and-test co-evolution vs. test-focused), and (iii) testing quality, measured by test smells. Our findings reveal that, although the likelihood of including tests is comparable (42.9% for HAPRs vs. 40.0% for HPRs), HAPRs exhibit a larger extent of testing, nearly doubling the test-to-source line ratio found in HPRs. While test-focused task distributions are comparable, HAPRs are more likely to add new tests during co-evolution (OR=1.79), whereas HPRs prioritize modifying existing tests. Finally, although some test smell categories differ statistically, negligible effect sizes suggest no meaningful differences in quality. These insights provide the first characterization of how human-agent collaboration shapes testing practices.


翻译:基于人工智能的编码助手正日益融入软件开发工作流,与开发者协作创建拉取请求(PRs)。尽管其采用率持续增长,人机协作在软件测试中的作用仍鲜为人知。本文基于AIDev数据集中的6,582个人机协作PR(HAPR)与3,122个人主导PR(HPR)开展实证研究。我们从三个维度比较HAPR与HPR:(i)测试频率与覆盖范围,(ii)测试相关变更的类型(代码-测试协同演化与测试专项修改),以及(iii)以测试坏味道衡量的测试质量。研究发现:虽然包含测试的可能性相近(HAPR为42.9% vs. HPR为40.0%),但HAPR展现出更大的测试覆盖范围,其测试代码与源代码行数比值接近HPR的两倍。尽管测试专项任务分布相似,HAPR在协同演化过程中更倾向于新增测试(优势比=1.79),而HPR则优先修改现有测试。最后,虽然部分测试坏味道类别存在统计差异,但可忽略的效应量表明两者在质量上并无实质性区别。这些发现首次揭示了人机协作如何塑造测试实践的特征。

0
下载
关闭预览

相关内容

《人机协作测试与评估指标表征》117页
专知会员服务
62+阅读 · 2024年2月3日
推荐!《人与AI协作中的可解释人工智能》320页论文
专知会员服务
137+阅读 · 2023年7月31日
《人工智能安全测评白皮书》,99页pdf
专知
36+阅读 · 2022年2月26日
解读!10篇人机交互领域高引论文合集
THU数据派
11+阅读 · 2019年11月14日
从传统方法到深度学习,人脸关键点检测方法综述
机器之心
14+阅读 · 2017年12月17日
人脸检测与识别总结
计算机视觉战队
21+阅读 · 2017年11月29日
全解:目标检测,图像分类、分割、生成……
全球人工智能
20+阅读 · 2017年9月15日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
19+阅读 · 2012年12月31日
国家自然科学基金
18+阅读 · 2009年12月31日
VIP会员
相关基金
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
19+阅读 · 2012年12月31日
国家自然科学基金
18+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员