Large language model assistants (LLM-assistants) present new opportunities to transform software development. Developers are increasingly adopting these tools across tasks, including coding, testing, debugging, documentation, and design. Yet, despite growing interest, there is no synthesis of how LLM-assistants affect software developer productivity. In this paper, we present a systematic review and mapping of 39 peer-reviewed studies published between January 2014 and December 2024 that examine this impact. Our analysis reveals that the majority of studies report considerable benefits from LLM-assistants, though a notable subset identifies critical risks. Commonly reported gains include accelerated development, minimized code search, and the automation of trivial and repetitive tasks. However, studies also highlight concerns around cognitive offloading and reduced team collaboration. Our study reveals that whether LLM-based assistants improve or degrade code quality remains unresolved, as existing studies report contradictory outcomes contingent on context and evaluation criteria. While the majority of studies (90%) adopt a multi-dimensional perspective by examining at least two SPACE dimensions, reflecting increased awareness of the complexity of developer productivity, only 15% extend beyond three dimensions, indicating substantial room for more integrated evaluations. Satisfaction, Performance, and Efficiency are the most frequently investigated dimensions, whereas Communication and Activity remain underexplored. Most studies are exploratory (59%) and methodologically diverse, but lack longitudinal and team-based evaluations. This review surfaces key research gaps and provides recommendations for future research and practice. All artifacts associated with this study are publicly available at https://zenodo.org/records/18489222


翻译:大型语言模型助手(LLM助手)为变革软件开发带来了新机遇。开发者正越来越多地将这些工具应用于编码、测试、调试、文档撰写和设计等各类任务。然而,尽管兴趣日益增长,目前尚无关于LLM助手如何影响软件开发者生产力的综合研究。本文对2014年1月至2024年12月间发表的39篇同行评审研究进行了系统性综述与映射分析,以考察这一影响。分析显示,大多数研究报告了LLM助手的显著益处,但值得注意的是,部分研究也指出了关键风险。常见报告收益包括开发速度加快、代码搜索减少以及琐碎重复任务的自动化。然而,研究也强调了认知卸载和团队协作减少等担忧。本研究发现,LLM助手是提升还是降低代码质量的问题仍未解决,因为现有研究报告的结果相互矛盾,且取决于具体情境和评估标准。虽然大多数研究(90%)通过考察至少两个SPACE维度而采用了多维视角(反映了对开发者生产力复杂性认识的增强),但仅有15%的研究扩展至三个维度以上,表明在更综合的评估方面仍有很大空间。满意度、绩效和效率是最常被研究的维度,而沟通和活动维度则尚未得到充分探索。大多数研究是探索性的(59%),方法多样,但缺乏纵向研究和基于团队的评估。本综述揭示了关键研究空白,并为未来研究与实践提供了建议。本研究相关的所有制品可在 https://zenodo.org/records/18489222 公开获取。

0
下载
关闭预览

相关内容

软件(中国大陆及香港用语,台湾作软体,英文:Software)是一系列按照特定顺序组织的计算机数据和指令的集合。一般来讲软件被划分为编程语言、系统软件、应用软件和介于这两者之间的中间件。软件就是程序加文档的集合体。
利用多个大型语言模型:关于LLM集成的调研
专知会员服务
35+阅读 · 2025年2月27日
LLM4SR:关于大规模语言模型在科学研究中的应用综述
专知会员服务
42+阅读 · 2025年1月9日
揭示生成式人工智能 / 大型语言模型(LLMs)的军事潜力
专知会员服务
31+阅读 · 2024年9月26日
《LLM 时代小模型的作用》综述
专知会员服务
49+阅读 · 2024年9月12日
放弃 RNN/LSTM 吧,因为真的不好用!望周知~
人工智能头条
19+阅读 · 2018年4月24日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
认知战与交战性质的改变:神经战略视角
专知会员服务
5+阅读 · 5月8日
人工智能如何变革军事C5ISR作战
专知会员服务
12+阅读 · 5月8日
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员