Testing is a critical practice for ensuring software correctness and long-term maintainability. As agentic coding tools increasingly submit pull requests (PRs), it becomes essential to understand how testing appears in these agent-driven workflows. Using the AIDev dataset, we present an empirical study of test inclusion in agentic pull requests. We examine how often tests are included, when they are introduced during the PR lifecycle and how test-containing PRs differ from non-test PRs in terms of size, turnaround time, and merge outcomes. Across agents, test-containing PRs are more common over time and tend to be larger and take longer to complete, while merge rates remain largely similar. We also observe variation across agents in both test adoption and the balance between test and production code within test PRs. Our findings provide a descriptive view of testing behavior in agentic pull requests and offer empirical grounding for future studies of autonomous software development.


翻译:测试是确保软件正确性和长期可维护性的关键实践。随着智能编码工具日益频繁地提交拉取请求(PRs),理解测试在这些智能驱动工作流中的表现变得至关重要。基于AIDev数据集,我们对智能代理拉取请求中的测试包含情况进行了实证研究。我们分析了测试被包含的频率、在PR生命周期中引入测试的时间节点,以及包含测试的PR与不含测试的PR在规模、周转时间和合并结果方面的差异。研究发现:跨智能代理的测试包含PR随时间推移愈发普遍,且往往规模更大、完成耗时更长,而合并率则基本保持相似。我们还观察到不同智能代理在测试采纳率以及测试PR中测试代码与生产代码的比例平衡方面存在差异。本研究为智能代理拉取请求中的测试行为提供了描述性视角,并为未来自主软件开发研究奠定了实证基础。

0
下载
关闭预览

相关内容

Python分布式计算,171页pdf,Distributed Computing with Python
专知会员服务
108+阅读 · 2020年5月3日
【ICMR2020】持续健康状态接口事件检索
专知会员服务
18+阅读 · 2020年4月18日
【AAAI2021】自监督对应学习的对比转换
专知
12+阅读 · 2020年12月11日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员