The evolution of Large Language Model (LLM) agents for software engineering (SWE) is constrained by the scarcity of verifiable datasets, a bottleneck stemming from the complexity of constructing executable environments across diverse languages. To address this, we introduce MEnvAgent, a Multi-language framework for automated Environment construction that facilitates scalable generation of verifiable task instances. MEnvAgent employs a multi-agent Planning-Execution-Verification architecture to autonomously resolve construction failures and integrates a novel Environment Reuse Mechanism that reduces computational overhead by incrementally patching historical environments. Evaluations on MEnvBench, a new benchmark comprising 1,000 tasks across 10 languages, demonstrate that MEnvAgent outperforms baselines, improving Fail-to-Pass (F2P) rates by 8.6% while reducing time costs by 43%. Additionally, we demonstrate the utility of MEnvAgent by constructing MEnvData-SWE, the largest open-source polyglot dataset of realistic verifiable Docker environments to date, alongside solution trajectories that enable consistent performance gains on SWE tasks across a wide range of models. Our code, benchmark, and dataset are available at https://github.com/ernie-research/MEnvAgent.


翻译:大语言模型(LLM)智能体在软件工程(SWE)领域的发展受到可验证数据集稀缺性的制约,这一瓶颈源于跨不同语言构建可执行环境的复杂性。为此,我们提出MEnvAgent——一个支持可扩展生成可验证任务实例的多语言自动化环境构建框架。MEnvAgent采用多智能体"规划-执行-验证"架构自主解决构建故障,并集成了一种新颖的环境复用机制,通过增量修补历史环境来降低计算开销。在包含10种语言1000个任务的新基准MEnvBench上的评估表明,MEnvAgent优于基线方法,将失败到通过(F2P)率提升8.6%,同时将时间成本降低43%。此外,我们通过构建MEnvData-SWE——迄今为止最大规模的开源多语言真实可验证Docker环境数据集,并附有解决方案轨迹,使各类模型在SWE任务上均能获得一致的性能提升,从而证明了MEnvAgent的实用性。我们的代码、基准和数据集可在https://github.com/ernie-research/MEnvAgent获取。

0
下载
关闭预览

相关内容

大语言模型智能体
专知会员服务
101+阅读 · 2024年12月25日
基于大型语言模型的软件工程智能体综述
专知会员服务
62+阅读 · 2024年9月6日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2013年12月31日
国家自然科学基金
19+阅读 · 2008年12月31日
VIP会员
最新内容
反制无人机:乌克兰提供的五点启示
专知会员服务
9+阅读 · 9月23日
《各指挥层级均亟需红队能力》报告
专知会员服务
8+阅读 · 9月23日
《航电任务系统框架(FAMOS)》50页报告
专知会员服务
5+阅读 · 9月22日
《对抗行动中的人工智能与自主性》智库报告
专知会员服务
10+阅读 · 9月22日
《从数据到胜利:战争中的分析优势之争》
专知会员服务
12+阅读 · 9月22日
战争不仅需要机器人:人类仍不可或缺
专知会员服务
6+阅读 · 9月21日
《描绘美国防部创新基础设施的未来蓝图》100页
专知会员服务
12+阅读 · 9月21日
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2013年12月31日
国家自然科学基金
19+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员