LLM-based software engineering is influencing modern software development. In addition to correctness, prior studies have also examined the performance of software artifacts generated by AI agents. However, it is unclear how exactly the agentic AI systems address performance concerns in practice. In this paper, we present an empirical study of performance-related pull requests generated by AI agents. Using LLM-assisted detection and BERTopic-based topic modeling, we identified 52 performance-related topics grouped into 10 higher-level categories. Our results show that AI agents apply performance optimizations across diverse layers of the software stack and that the type of optimization significantly affects pull request acceptance rates and review times. We also found that performance optimization by AI agents primarily occurs during the development phase, with less focus on the maintenance phase. Our findings provide empirical evidence that can support the evaluation and improvement of agentic AI systems with respect to their performance optimization behaviors and review outcomes.


翻译:基于大语言模型的软件工程正在影响现代软件开发。除了正确性之外,先前的研究也考察了由AI智能体生成的软件制品的性能。然而,目前尚不清楚智能AI系统在实践中究竟如何应对性能问题。在本文中,我们对由AI智能体生成的与性能相关的拉取请求进行了一项实证研究。利用LLM辅助检测和基于BERTopic的主题建模,我们识别出52个性能相关主题,并将其归纳为10个更高层次的类别。我们的结果表明,AI智能体在软件栈的各个不同层面应用性能优化,并且优化类型显著影响拉取请求的接受率和审查时间。我们还发现,AI智能体进行的性能优化主要发生在开发阶段,对维护阶段的关注较少。我们的发现提供了实证证据,可以支持对智能AI系统在性能优化行为及审查结果方面进行评估和改进。

0
下载
关闭预览

相关内容

人工智能杂志AI(Artificial Intelligence)是目前公认的发表该领域最新研究成果的主要国际论坛。该期刊欢迎有关AI广泛方面的论文,这些论文构成了整个领域的进步,也欢迎介绍人工智能应用的论文,但重点应该放在新的和新颖的人工智能方法如何提高应用领域的性能,而不是介绍传统人工智能方法的另一个应用。关于应用的论文应该描述一个原则性的解决方案,强调其新颖性,并对正在开发的人工智能技术进行深入的评估。 官网地址:http://dblp.uni-trier.de/db/journals/ai/
AI 智能体系统:体系架构、应用场景及评估范式
迈向智能体系统规模化的科学
专知会员服务
22+阅读 · 2025年12月12日
LLM/智能体作为数据分析师:综述
专知会员服务
38+阅读 · 2025年9月30日
【新书】AI智能体与应用:基于 LangChain、LangGraph 与 MCP
专知会员服务
64+阅读 · 2025年9月12日
AI智能体编程:技术、挑战与机遇综述
专知会员服务
44+阅读 · 2025年8月18日
AI4Research:科学研究中的人工智能综述
专知会员服务
34+阅读 · 2025年7月4日
面向应用的智能体 AI 系统价值对齐:综述与展望
专知会员服务
25+阅读 · 2025年6月12日
基于大语言模型的智能体优化研究综述
专知会员服务
63+阅读 · 2025年3月25日
以BERT为例,如何优化机器学习模型性能?
专知
10+阅读 · 2019年10月3日
面向人工智能的计算机体系结构
计算机研究与发展
14+阅读 · 2019年6月6日
深度文本匹配在智能客服中的应用
AI100
18+阅读 · 2018年10月24日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2013年12月31日
国家自然科学基金
18+阅读 · 2009年12月31日
国家自然科学基金
49+阅读 · 2009年12月31日
Arxiv
0+阅读 · 1月30日
VIP会员
最新内容
人工智能赋能无人机:俄乌战争(万字长文)
专知会员服务
4+阅读 · 今天6:56
国外海军作战管理系统与作战训练系统
专知会员服务
2+阅读 · 今天4:16
美军条令《海军陆战队规划流程(2026版)》
专知会员服务
9+阅读 · 今天3:36
《压缩式分布式交互仿真标准》120页
专知会员服务
4+阅读 · 今天3:21
《电子战数据交换模型研究报告》
专知会员服务
6+阅读 · 今天3:13
《基于Transformer的异常舰船导航识别与跟踪》80页
《低数据领域军事目标检测模型研究》
专知会员服务
6+阅读 · 今天2:37
【CMU博士论文】物理世界的视觉感知与深度理解
专知会员服务
10+阅读 · 4月22日
伊朗战争停火期间美军关键弹药状况分析
专知会员服务
8+阅读 · 4月22日
电子战革命:塑造战场的十年突破(2015–2025)
相关VIP内容
AI 智能体系统:体系架构、应用场景及评估范式
迈向智能体系统规模化的科学
专知会员服务
22+阅读 · 2025年12月12日
LLM/智能体作为数据分析师:综述
专知会员服务
38+阅读 · 2025年9月30日
【新书】AI智能体与应用:基于 LangChain、LangGraph 与 MCP
专知会员服务
64+阅读 · 2025年9月12日
AI智能体编程:技术、挑战与机遇综述
专知会员服务
44+阅读 · 2025年8月18日
AI4Research:科学研究中的人工智能综述
专知会员服务
34+阅读 · 2025年7月4日
面向应用的智能体 AI 系统价值对齐:综述与展望
专知会员服务
25+阅读 · 2025年6月12日
基于大语言模型的智能体优化研究综述
专知会员服务
63+阅读 · 2025年3月25日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2013年12月31日
国家自然科学基金
18+阅读 · 2009年12月31日
国家自然科学基金
49+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员