AI agents are increasingly used in software development, yet their interaction with CI/CD configurations is not well studied. We analyze 8,031 agentic pull requests (PRs) from 1,605 GitHub repositories where AI agents touch YAML configurations. CI/CD configuration files account for 3.25% of agent changes, varying by agent (Devin: 4.83%, Codex: 2.01%, p < 0.001). When agents modify CI/CD, 96.77% target GitHub Actions. Agentic PRs with CI/CD changes merge slightly less often than others (67.77% vs. 71.80%), except for Copilot, whose CI/CD changes merge 15.63 percentage points more often. Across 99,930 workflow runs, build success rates are comparable for CI/CD and non-CI/CD changes (75.59% vs. 74.87%), though three agents show significantly higher success when modifying CI/CD. These results show that AI agents rarely modify CI/CD and focus mostly on GitHub Actions, yet their configuration changes are as reliable as regular code. Copilot's strong CI/CD performance despite lower acceptance suggests emerging configuration specialization, with implications for agent training and DevOps automation.


翻译:AI智能体在软件开发中的应用日益广泛,但其与CI/CD配置的交互尚未得到充分研究。本研究分析了来自1,605个GitHub仓库的8,031个涉及AI智能体修改YAML配置的智能体式拉取请求(PR)。CI/CD配置文件占智能体修改总量的3.25%,不同智能体间存在显著差异(Devin:4.83%,Codex:2.01%,p < 0.001)。当智能体修改CI/CD配置时,96.77%的改动针对GitHub Actions。包含CI/CD修改的智能体式PR合并率略低于其他PR(67.77% vs. 71.80%),但Copilot的CI/CD修改合并率反而高出15.63个百分点。通过对99,930次工作流运行的分析发现,CI/CD修改与非CI/CD修改的构建成功率基本相当(75.59% vs. 74.87%),但有三款智能体在修改CI/CD时展现出显著更高的成功率。这些结果表明:AI智能体较少修改CI/CD配置且主要聚焦GitHub Actions,但其配置修改的可靠性与常规代码相当。Copilot在CI/CD方面表现突出但接受度较低的现象,揭示了智能体在配置专业化方面的发展趋势,这对智能体训练与DevOps自动化具有重要启示。

0
下载
关闭预览

相关内容

人工智能杂志AI(Artificial Intelligence)是目前公认的发表该领域最新研究成果的主要国际论坛。该期刊欢迎有关AI广泛方面的论文,这些论文构成了整个领域的进步,也欢迎介绍人工智能应用的论文,但重点应该放在新的和新颖的人工智能方法如何提高应用领域的性能,而不是介绍传统人工智能方法的另一个应用。关于应用的论文应该描述一个原则性的解决方案,强调其新颖性,并对正在开发的人工智能技术进行深入的评估。 官网地址:http://dblp.uni-trier.de/db/journals/ai/
AI 智能体系统:体系架构、应用场景及评估范式
智能体工程(Agent Engineering)
专知会员服务
27+阅读 · 2025年12月31日
Google《AI智能体企业应用手册报告》,46页pdf
专知会员服务
46+阅读 · 2025年12月29日
《行动中的AI智能体:评估与治理的基础》34页报告
专知会员服务
32+阅读 · 2025年12月9日
AI智能体编程:技术、挑战与机遇综述
专知会员服务
41+阅读 · 2025年8月18日
AI智能体基础设施
专知会员服务
39+阅读 · 2025年7月12日
图结构遇上智能体:分类方法、研究进展与未来机遇
专知会员服务
58+阅读 · 2025年6月24日
浅谈群体智能——新一代AI的重要方向
中国科学院自动化研究所
44+阅读 · 2019年10月16日
可解释AI(XAI)工具集—DrWhy
专知
25+阅读 · 2019年6月4日
PlaNet 简介:用于强化学习的深度规划网络
谷歌开发者
13+阅读 · 2019年3月16日
群体智能:新一代人工智能的重要方向
走向智能论坛
12+阅读 · 2017年8月16日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2009年12月31日
Arxiv
0+阅读 · 1月28日
VIP会员
相关VIP内容
AI 智能体系统:体系架构、应用场景及评估范式
智能体工程(Agent Engineering)
专知会员服务
27+阅读 · 2025年12月31日
Google《AI智能体企业应用手册报告》,46页pdf
专知会员服务
46+阅读 · 2025年12月29日
《行动中的AI智能体:评估与治理的基础》34页报告
专知会员服务
32+阅读 · 2025年12月9日
AI智能体编程:技术、挑战与机遇综述
专知会员服务
41+阅读 · 2025年8月18日
AI智能体基础设施
专知会员服务
39+阅读 · 2025年7月12日
图结构遇上智能体:分类方法、研究进展与未来机遇
专知会员服务
58+阅读 · 2025年6月24日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员