LLM-based software engineering is influencing modern software development. In addition to correctness, prior studies have also examined the performance of software artifacts generated by AI agents. However, it is unclear how exactly the agentic AI systems address performance concerns in practice. In this paper, we present an empirical study of performance-related pull requests generated by AI agents. Using LLM-assisted detection and BERTopic-based topic modeling, we identified 52 performance-related topics grouped into 10 higher-level categories. Our results show that AI agents apply performance optimizations across diverse layers of the software stack and that the type of optimization significantly affects pull request acceptance rates and review times. We also found that performance optimization by AI agents primarily occurs during the development phase, with less focus on the maintenance phase. Our findings provide empirical evidence that can support the evaluation and improvement of agentic AI systems with respect to their performance optimization behaviors and review outcomes.


翻译:基于大语言模型的软件工程正在影响现代软件开发。除了正确性之外,先前的研究也考察了由AI智能体生成的软件制品的性能。然而,目前尚不清楚智能AI系统在实践中究竟如何应对性能问题。在本文中,我们对由AI智能体生成的与性能相关的拉取请求进行了一项实证研究。利用LLM辅助检测和基于BERTopic的主题建模,我们识别出52个性能相关主题,并将其归纳为10个更高层次的类别。我们的结果表明,AI智能体在软件栈的各个不同层面应用性能优化,并且优化类型显著影响拉取请求的接受率和审查时间。我们还发现,AI智能体进行的性能优化主要发生在开发阶段,对维护阶段的关注较少。我们的发现提供了实证证据,可以支持对智能AI系统在性能优化行为及审查结果方面进行评估和改进。

0
下载
关闭预览

相关内容

人工智能杂志AI(Artificial Intelligence)是目前公认的发表该领域最新研究成果的主要国际论坛。该期刊欢迎有关AI广泛方面的论文,这些论文构成了整个领域的进步,也欢迎介绍人工智能应用的论文,但重点应该放在新的和新颖的人工智能方法如何提高应用领域的性能,而不是介绍传统人工智能方法的另一个应用。关于应用的论文应该描述一个原则性的解决方案,强调其新颖性,并对正在开发的人工智能技术进行深入的评估。 官网地址:http://dblp.uni-trier.de/db/journals/ai/
AI 智能体系统:体系架构、应用场景及评估范式
迈向智能体系统规模化的科学
专知会员服务
20+阅读 · 2025年12月12日
LLM/智能体作为数据分析师:综述
专知会员服务
36+阅读 · 2025年9月30日
【新书】AI智能体与应用:基于 LangChain、LangGraph 与 MCP
专知会员服务
63+阅读 · 2025年9月12日
AI智能体编程:技术、挑战与机遇综述
专知会员服务
41+阅读 · 2025年8月18日
AI4Research:科学研究中的人工智能综述
专知会员服务
33+阅读 · 2025年7月4日
面向应用的智能体 AI 系统价值对齐:综述与展望
专知会员服务
23+阅读 · 2025年6月12日
基于大语言模型的智能体优化研究综述
专知会员服务
59+阅读 · 2025年3月25日
以BERT为例,如何优化机器学习模型性能?
专知
10+阅读 · 2019年10月3日
面向人工智能的计算机体系结构
计算机研究与发展
14+阅读 · 2019年6月6日
深度文本匹配在智能客服中的应用
AI100
18+阅读 · 2018年10月24日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2013年12月31日
国家自然科学基金
18+阅读 · 2009年12月31日
国家自然科学基金
48+阅读 · 2009年12月31日
Arxiv
0+阅读 · 1月30日
VIP会员
相关VIP内容
AI 智能体系统:体系架构、应用场景及评估范式
迈向智能体系统规模化的科学
专知会员服务
20+阅读 · 2025年12月12日
LLM/智能体作为数据分析师:综述
专知会员服务
36+阅读 · 2025年9月30日
【新书】AI智能体与应用:基于 LangChain、LangGraph 与 MCP
专知会员服务
63+阅读 · 2025年9月12日
AI智能体编程:技术、挑战与机遇综述
专知会员服务
41+阅读 · 2025年8月18日
AI4Research:科学研究中的人工智能综述
专知会员服务
33+阅读 · 2025年7月4日
面向应用的智能体 AI 系统价值对齐:综述与展望
专知会员服务
23+阅读 · 2025年6月12日
基于大语言模型的智能体优化研究综述
专知会员服务
59+阅读 · 2025年3月25日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2013年12月31日
国家自然科学基金
18+阅读 · 2009年12月31日
国家自然科学基金
48+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员