Prior works on training software engineering agents have explored utilizing existing resources such as issues on GitHub repositories to construct software engineering tasks and corresponding test suites. These approaches face two key limitations: (1) their reliance on pre-existing GitHub repositories offers limited flexibility, and (2) their primary focus on issue resolution tasks restricts their applicability to the much wider variety of tasks a software engineer must handle. To overcome these challenges, we introduce SWE-Playground, a novel pipeline for generating environments and trajectories which supports the training of versatile coding agents. Unlike prior efforts, SWE-Playground synthetically generates projects and tasks from scratch with strong language models and agents, eliminating reliance on external data sources. This allows us to tackle a much wider variety of coding tasks, such as reproducing issues by generating unit tests and implementing libraries from scratch. We demonstrate the effectiveness of this approach on three distinct benchmarks, and results indicate that SWE-Playground produces trajectories with dense training signal, enabling agents to reach comparable performance with significantly fewer trajectories than previous works.


翻译:先前关于训练软件工程智能体的研究探索了利用现有资源(如GitHub仓库中的问题)来构建软件工程任务及相应的测试套件。这些方法面临两个关键局限:(1)其对预存GitHub仓库的依赖导致灵活性受限;(2)其以问题解决任务为主的关注点限制了其适用于软件工程师需处理的更广泛任务类型。为克服这些挑战,我们提出了SWE-Playground——一种支持训练多功能编码智能体的新型环境与轨迹生成流程。与先前工作不同,SWE-Playground通过强语言模型和智能体从零开始合成生成项目与任务,消除了对外部数据源的依赖。这使得我们能够处理更广泛的编码任务,例如通过生成单元测试复现问题,以及从零开始实现代码库。我们在三个独立基准测试中验证了该方法的有效性,结果表明SWE-Playground生成的轨迹具有密集训练信号,使智能体仅需远少于先前工作的轨迹量即可达到相当的性能水平。

0
下载
关闭预览

相关内容

智能体工程(Agent Engineering)
专知会员服务
27+阅读 · 2025年12月31日
《多智能体强化学习中的机制设计优化研究》103页
专知会员服务
31+阅读 · 2025年5月31日
基于深度学习的程序合成研究进展
专知会员服务
17+阅读 · 2024年11月14日
Python机器学习课程(代码与教程)
专知
37+阅读 · 2019年5月13日
使用强化学习训练机械臂完成人类任务
AI研习社
14+阅读 · 2019年3月23日
深度学习TensorFlow实现集合
专知
10+阅读 · 2018年9月8日
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
23+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
20+阅读 · 2013年12月31日
国家自然科学基金
19+阅读 · 2012年12月31日
国家自然科学基金
18+阅读 · 2009年12月31日
国家自然科学基金
48+阅读 · 2009年12月31日
国家自然科学基金
17+阅读 · 2008年12月31日
Arxiv
0+阅读 · 1月28日
VIP会员
相关基金
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
23+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
20+阅读 · 2013年12月31日
国家自然科学基金
19+阅读 · 2012年12月31日
国家自然科学基金
18+阅读 · 2009年12月31日
国家自然科学基金
48+阅读 · 2009年12月31日
国家自然科学基金
17+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员