LLM-based software engineering is influencing modern software development. In addition to correctness, prior studies have also examined the performance of software artifacts generated by AI agents. However, it is unclear how exactly the agentic AI systems address performance concerns in practice. In this paper, we present an empirical study of performance-related pull requests generated by AI agents. Using LLM-assisted detection and BERTopic-based topic modeling, we identified 52 performance-related topics grouped into 10 higher-level categories. Our results show that AI agents apply performance optimizations across diverse layers of the software stack and that the type of optimization significantly affects pull request acceptance rates and review times. We also found that performance optimization by AI agents primarily occurs during the development phase, with less focus on the maintenance phase. Our findings provide empirical evidence that can support the evaluation and improvement of agentic AI systems with respect to their performance optimization behaviors and review outcomes.


翻译:基于大语言模型的软件工程正在影响现代软件开发。除了正确性之外,先前的研究也考察了由AI智能体生成的软件制品的性能。然而,目前尚不清楚智能AI系统在实践中究竟如何应对性能问题。在本文中,我们对由AI智能体生成的与性能相关的拉取请求进行了一项实证研究。利用LLM辅助检测和基于BERTopic的主题建模,我们识别出52个性能相关主题,并将其归纳为10个更高层次的类别。我们的结果表明,AI智能体在软件栈的各个不同层面应用性能优化,并且优化类型显著影响拉取请求的接受率和审查时间。我们还发现,AI智能体进行的性能优化主要发生在开发阶段,对维护阶段的关注较少。我们的发现提供了实证证据,可以支持对智能AI系统在性能优化行为及审查结果方面进行评估和改进。

0
下载
关闭预览

相关内容

人工智能杂志AI(Artificial Intelligence)是目前公认的发表该领域最新研究成果的主要国际论坛。该期刊欢迎有关AI广泛方面的论文,这些论文构成了整个领域的进步,也欢迎介绍人工智能应用的论文,但重点应该放在新的和新颖的人工智能方法如何提高应用领域的性能,而不是介绍传统人工智能方法的另一个应用。关于应用的论文应该描述一个原则性的解决方案,强调其新颖性,并对正在开发的人工智能技术进行深入的评估。 官网地址:http://dblp.uni-trier.de/db/journals/ai/
AI 智能体系统:体系架构、应用场景及评估范式
迈向智能体系统规模化的科学
专知会员服务
22+阅读 · 2025年12月12日
LLM/智能体作为数据分析师:综述
专知会员服务
38+阅读 · 2025年9月30日
【新书】AI智能体与应用:基于 LangChain、LangGraph 与 MCP
专知会员服务
66+阅读 · 2025年9月12日
AI智能体编程:技术、挑战与机遇综述
专知会员服务
49+阅读 · 2025年8月18日
AI4Research:科学研究中的人工智能综述
专知会员服务
38+阅读 · 2025年7月4日
面向应用的智能体 AI 系统价值对齐:综述与展望
专知会员服务
27+阅读 · 2025年6月12日
基于大语言模型的智能体优化研究综述
专知会员服务
65+阅读 · 2025年3月25日
以BERT为例,如何优化机器学习模型性能?
专知
10+阅读 · 2019年10月3日
面向人工智能的计算机体系结构
计算机研究与发展
14+阅读 · 2019年6月6日
深度文本匹配在智能客服中的应用
AI100
18+阅读 · 2018年10月24日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2013年12月31日
国家自然科学基金
18+阅读 · 2009年12月31日
国家自然科学基金
50+阅读 · 2009年12月31日
Arxiv
0+阅读 · 1月30日
VIP会员
最新内容
博士论文 | 面向大模型推理的内存高效算法
专知会员服务
2+阅读 · 7月27日
美空军新型反无人机部队初探
专知会员服务
5+阅读 · 7月27日
《防空交战流程的概率建模研究》
专知会员服务
7+阅读 · 7月27日
ICML 2026 教程 | 数值优化理论还重要吗?
专知会员服务
6+阅读 · 7月26日
ICM 2026 | 陶哲轩:人工智能时代的数学
专知会员服务
9+阅读 · 7月26日
《反无人机交战场景下的战斗归零研究》
专知会员服务
7+阅读 · 7月26日
博士论文 | 用代码结构感知方法推进代码大模型
相关VIP内容
AI 智能体系统:体系架构、应用场景及评估范式
迈向智能体系统规模化的科学
专知会员服务
22+阅读 · 2025年12月12日
LLM/智能体作为数据分析师:综述
专知会员服务
38+阅读 · 2025年9月30日
【新书】AI智能体与应用:基于 LangChain、LangGraph 与 MCP
专知会员服务
66+阅读 · 2025年9月12日
AI智能体编程:技术、挑战与机遇综述
专知会员服务
49+阅读 · 2025年8月18日
AI4Research:科学研究中的人工智能综述
专知会员服务
38+阅读 · 2025年7月4日
面向应用的智能体 AI 系统价值对齐:综述与展望
专知会员服务
27+阅读 · 2025年6月12日
基于大语言模型的智能体优化研究综述
专知会员服务
65+阅读 · 2025年3月25日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2013年12月31日
国家自然科学基金
18+阅读 · 2009年12月31日
国家自然科学基金
50+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员