Large Language Models (LLMs)-powered code review automation has the potential to transform code review workflows. Despite the advances of LLM-powered code review comment generation approaches, several practical challenges remain for designing enterprise-grade code review automation tools. In particular, this paper aims at answering the practical question: how can we design a review-guided, context-aware, quality-checked code review comment generation without fine-tuning? In this paper, we present RovoDev Code Reviewer, an enterprise-grade LLM-based code review automation tool designed and deployed at scale within Atlassian's development ecosystem with seamless integration into Atlassian's Bitbucket. Through the offline, online, user feedback evaluations over a one-year period, we conclude that RovoDev Code Reviewer is (1) effective in generating code review comments that could lead to code resolution for 38.70% (i.e., comments that triggered code changes in the subsequent commits); and (2) offers the promise of accelerating feedback cycles (i.e., decreasing the PR cycle time by 30.8%), alleviating reviewer workload (i.e., reducing the number of human-written comments by 35.6%), and improving overall software quality (i.e., finding errors with actionable suggestions).


翻译:基于大语言模型(LLMs)的代码审查自动化技术具有变革代码审查工作流程的潜力。尽管LLM驱动的代码审查评注生成方法已取得进展,但设计企业级代码审查自动化工具仍面临若干实际挑战。本文旨在回答一个实际问题:如何在不进行微调的情况下,设计出具备审查引导、上下文感知和质量校验功能的代码审查评注生成系统?本文提出RovoDev代码审查器——一个在企业级环境中设计并大规模部署于Atlassian开发生态系统的LLM代码审查自动化工具,该工具已无缝集成至Atlassian的Bitbucket平台。通过为期一年的离线评估、在线测试与用户反馈分析,我们得出以下结论:RovoDev代码审查器(1)能有效生成可促成代码修改的审查评注(38.70%的生成评注在后续提交中触发了代码变更);(2)在加速反馈周期(即缩短30.8%的PR处理时间)、减轻审查者负担(即减少35.6%的人工撰写评注)以及提升整体软件质量(即发现错误并提供可操作建议)方面展现出显著潜力。

0
下载
关闭预览

相关内容

代码(Code)是专知网的一个重要知识资料文档板块,旨在整理收录论文源代码、复现代码,经典工程代码等,便于用户查阅下载使用。
Python分布式计算,171页pdf,Distributed Computing with Python
专知会员服务
108+阅读 · 2020年5月3日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
VIP会员
相关基金
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员