Large language models (LLMs) are expected to be trained to act as agents in various real-world environments, but this process relies on rich and varied tool-interaction sandboxes. However, access to real systems is often restricted; LLM-simulated environments are prone to hallucinations and inconsistencies; and manually built sandboxes are hard to scale. In this paper, we propose EnvScaler, an automated framework for scalable tool-interaction environments via programmatic synthesis. EnvScaler comprises two components. First, SkelBuilder constructs diverse environment skeletons through topic mining, logic modeling, and quality evaluation. Then, ScenGenerator generates multiple task scenarios and rule-based trajectory validation functions for each environment. With EnvScaler, we synthesize 191 environments and about 7K scenarios, and apply them to Supervised Fine-Tuning (SFT) and Reinforcement Learning (RL) for Qwen3 series models. Results on three benchmarks show that EnvScaler significantly improves LLMs' ability to solve tasks in complex environments involving multi-turn, multi-tool interactions. We release our code and data at https://github.com/RUC-NLPIR/EnvScaler.


翻译:摘要:大型语言模型(LLM)需被训练为能够在各类真实环境中执行任务的智能体,但这一过程依赖于丰富多样的工具交互沙盒。然而,真实系统的访问常受限;LLM模拟环境易产生幻觉与不一致性;人工构建沙盒则难以扩展。本文提出EnvScaler,一种通过程序化合成实现可扩展工具交互环境的自动化框架。EnvScaler包含两个组件:首先,SkelBuilder通过主题挖掘、逻辑建模与质量评估构建多样化的环境骨架;随后,ScenGenerator为每个环境生成多个任务场景与基于规则的轨迹验证函数。借助EnvScaler,我们合成了191个环境及约7000个场景,并将其应用于Qwen3系列模型的监督微调(SFT)与强化学习(RL)。三个基准测试的结果表明,EnvScaler显著提升了LLM在涉及多轮、多工具交互的复杂环境中的任务解决能力。我们已在https://github.com/RUC-NLPIR/EnvScaler 开源代码与数据。

0
下载
关闭预览

相关内容

LLM/智能体作为数据分析师:综述
专知会员服务
38+阅读 · 2025年9月30日
LLMs与生成式智能体模拟:复杂系统研究的新范式
专知会员服务
28+阅读 · 2025年6月15日
OpenAI 32页《智能体》指南,如何构建首个智能体系统
专知会员服务
51+阅读 · 2025年4月18日
揭示生成式人工智能 / 大型语言模型(LLMs)的军事潜力
专知会员服务
32+阅读 · 2024年9月26日
CALDERA 一款对手自动模拟工具
黑白之道
20+阅读 · 2019年9月17日
NLP实践:对话系统技术原理和应用
AI100
34+阅读 · 2019年3月20日
NLP通用模型诞生?一个模型搞定十大自然语言常见任务
人工智能头条
10+阅读 · 2018年6月29日
用Rasa NLU构建自己的中文NLU系统
待字闺中
18+阅读 · 2017年9月18日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2009年12月31日
国家自然科学基金
50+阅读 · 2009年12月31日
VIP会员
相关主题
最新内容
边缘计算的军事应用
专知会员服务
2+阅读 · 8月9日
一种考虑资源机动性的武器目标分配混合算法
专知会员服务
5+阅读 · 8月8日
《多域冲突比较支持模型》60页
专知会员服务
11+阅读 · 8月7日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2009年12月31日
国家自然科学基金
50+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员