The development of robust and generalizable robot learning models is critically contingent upon the availability of large-scale, diverse training data and reliable evaluation benchmarks. Collecting data in the physical world poses prohibitive costs and scalability challenges, and prevailing simulation benchmarks frequently suffer from fragmentation, narrow scope, or insufficient fidelity to enable effective sim-to-real transfer. To address these challenges, we introduce Genie Sim 3.0, a unified simulation platform for robotic manipulation. We present Genie Sim Generator, a large language model (LLM)-powered tool that constructs high-fidelity scenes from natural language instructions. Its principal strength resides in rapid and multi-dimensional generalization, facilitating the synthesis of diverse environments to support scalable data collection and robust policy evaluation. We introduce the first benchmark that pioneers the application of LLM for automated evaluation. It leverages LLM to mass-generate evaluation scenarios and employs Vision-Language Model (VLM) to establish an automated assessment pipeline. We also release an open-source dataset comprising more than 10,000 hours of synthetic data across over 200 tasks. Through systematic experimentation, we validate the robust zero-shot sim-to-real transfer capability of our open-source dataset, demonstrating that synthetic data can server as an effective substitute for real-world data under controlled conditions for scalable policy training. For code and dataset details, please refer to: https://github.com/AgibotTech/genie_sim.


翻译:开发鲁棒且泛化能力强的机器人学习模型,关键取决于能否获取大规模、多样化的训练数据以及可靠的评估基准。在物理世界中采集数据成本高昂且难以扩展,而主流的仿真基准则常常存在碎片化、范围狭窄或保真度不足等问题,难以实现有效的仿真到现实迁移。为应对这些挑战,我们推出了Genie Sim 3.0,一个面向机器人操作的统一仿真平台。我们提出了Genie Sim Generator,这是一个由大语言模型驱动的工具,能够根据自然语言指令构建高保真场景。其主要优势在于快速、多维度的泛化能力,便于合成多样化环境,以支持可扩展的数据收集和鲁棒的策略评估。我们推出了首个开创性应用大语言模型进行自动化评估的基准。该基准利用大语言模型大规模生成评估场景,并采用视觉语言模型建立自动化评估流程。我们还发布了一个开源数据集,包含超过200项任务、总计超过10,000小时的合成数据。通过系统性的实验,我们验证了开源数据集具备强大的零样本仿真到现实迁移能力,证明在受控条件下,合成数据可作为现实世界数据的有效替代,用于可扩展的策略训练。有关代码和数据集的详细信息,请访问:https://github.com/AgibotTech/genie_sim。

0
下载
关闭预览

相关内容

Python分布式计算,171页pdf,Distributed Computing with Python
专知会员服务
108+阅读 · 2020年5月3日
Pytorch多模态框架MMF
专知
50+阅读 · 2020年6月20日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
17+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
16+阅读 · 2013年12月31日
VIP会员
相关基金
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
17+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
16+阅读 · 2013年12月31日
Top
微信扫码咨询专知VIP会员