Agentic coding -- software development workflows in which autonomous coding agents plan, implement, and submit code changes with minimal human involvement -- is rapidly gaining traction. Prior work has shown that Pull Requests (PRs) produced using coding agents (Agentic-PRs) are accepted less often than PRs that are not labeled as agentic (Human-PRs). The rejection reasons for a single agent (Claude Code) have been explored, but a comparison of how rejection reasons differ between Agentic-PRs generated by different agents has not yet been performed. This comparison is important since different coding agents are often used for different purposes, which can lead to agent-specific failure patterns. In this paper, we inspect 654 rejected PRs from the AIDev dataset covering five coding agents, as well as a human baseline. Our results show that seven rejection modes occur only in Agentic-PRs, including distrust of AI-generated code. We also observe agent-specific patterns (e.g., automated withdrawal of inactive PRs by Devin), reflecting differences in how agents are configured and used in practice. Notably, a large proportion of rejected PRs (67.9%) lack explicit reviewer feedback, making their rejection reasons difficult to determine. To mitigate this issue, we propose a set of heuristics that reduce the proportion of such cases, offering a practical preprocessing step for future studies of PR rejection in agentic coding.


翻译:智能编码——即自主编码代理以最小人工参与规划、实现并提交代码变更的软件开发工作流——正迅速获得关注。先前研究表明,使用编码代理生成的拉取请求(智能PR)的接受率低于未标记为智能生成的人类PR。虽然已有研究探讨了单一代理(Claude Code)的拒绝原因,但尚未对不同代理生成的智能PR之间的拒绝原因差异进行比较。这种比较至关重要,因为不同的编码代理通常用于不同目的,可能导致特定于代理的失败模式。本文基于AIDev数据集,分析了涵盖五种编码代理及人类对照组的654个被拒PR。研究结果显示,有七种拒绝模式仅出现在智能PR中,包括对AI生成代码的不信任。我们还观察到代理特定的模式(例如Devin自动撤回非活跃PR),这反映了代理在实际配置和使用方式上的差异。值得注意的是,大部分被拒PR(67.9%)缺乏明确的审阅者反馈,导致其拒绝原因难以确定。为缓解此问题,我们提出了一套启发式规则,有效降低了此类案例的比例,为未来智能编码中PR拒绝研究提供了实用的预处理方法。

0
下载
关闭预览

相关内容

模式识别 Pattern Recognition
智能体工程(Agent Engineering)
专知会员服务
27+阅读 · 2025年12月31日
AI生成代码缺陷综述
专知会员服务
16+阅读 · 2025年12月8日
Al Agent:AI时代的软件革命
专知会员服务
44+阅读 · 2025年5月13日
中国AI Agent行业研究报告(二)
专知会员服务
47+阅读 · 2025年3月13日
DeepSeek系列报告:AI编程或为B端最先崛起的AI应用
专知会员服务
72+阅读 · 2025年2月15日
《深度学习代码智能》综述、基准和工具集
专知会员服务
56+阅读 · 2024年1月2日
【干货】深入理解变分自编码器
专知
21+阅读 · 2018年3月22日
【干货】深入理解自编码器(附代码实现)
尽早跑通深度学习的实践代码,是入门深度学习的最快途径
算法与数据结构
22+阅读 · 2017年12月13日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2009年12月31日
VIP会员
相关VIP内容
智能体工程(Agent Engineering)
专知会员服务
27+阅读 · 2025年12月31日
AI生成代码缺陷综述
专知会员服务
16+阅读 · 2025年12月8日
Al Agent:AI时代的软件革命
专知会员服务
44+阅读 · 2025年5月13日
中国AI Agent行业研究报告(二)
专知会员服务
47+阅读 · 2025年3月13日
DeepSeek系列报告:AI编程或为B端最先崛起的AI应用
专知会员服务
72+阅读 · 2025年2月15日
《深度学习代码智能》综述、基准和工具集
专知会员服务
56+阅读 · 2024年1月2日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员