We present a low-cost data generation pipeline that integrates physics-based simulation, human demonstrations, and model-based planning to efficiently generate large-scale, high-quality datasets for contact-rich robotic manipulation tasks. Starting with a small number of embodiment-flexible human demonstrations collected in a virtual reality simulation environment, the pipeline refines these demonstrations using optimization-based kinematic retargeting and trajectory optimization to adapt them across various robot embodiments and physical parameters. This process yields a diverse, physically consistent dataset that enables cross-embodiment data transfer, and offers the potential to reuse legacy datasets collected under different hardware configurations or physical parameters. We validate the pipeline's effectiveness by training diffusion policies from the generated datasets for challenging contact-rich manipulation tasks across multiple robot embodiments, including a floating Allegro hand and bimanual robot arms. The trained policies are deployed zero-shot on hardware for bimanual iiwa arms, achieving high success rates with minimal human input. Project website: https://lujieyang.github.io/physicsgen/.


翻译:本文提出一种低成本数据生成流程,该流程整合了基于物理的仿真、人类示范与基于模型的规划,能够高效生成适用于接触密集型机器人操作任务的大规模高质量数据集。该流程以虚拟现实仿真环境中收集的少量具身灵活性人类示范为起点,通过基于优化的运动学重定向与轨迹优化技术对这些示范进行精细化处理,使其能够适配不同机器人具身形态与物理参数。这一过程产生了多样化且物理一致的数据集,实现了跨具身数据迁移,并为复用不同硬件配置或物理参数下收集的历史数据集提供了可能。我们通过使用生成数据集训练扩散策略,在包含浮动Allegro手与双手机器人臂在内的多种机器人具身形态上,针对具有挑战性的接触密集型操作任务验证了该流程的有效性。训练完成的策略以零样本方式部署于双iiwa机械臂硬件平台,在极少人工干预下实现了较高的任务成功率。项目网站:https://lujieyang.github.io/physicsgen/。

0
下载
关闭预览

相关内容

《利用合成数据生成加强军事决策支持》
专知会员服务
42+阅读 · 2024年12月30日
生成技术在时空数据挖掘中的应用
专知会员服务
39+阅读 · 2024年6月5日
谷歌最新《大语言模型合成数据的最佳实践和经验教训》
【MIT博士论文】优化理论与机器学习实践
专知会员服务
94+阅读 · 2022年6月30日
基于深度学习的数据融合方法研究综述
专知
37+阅读 · 2020年12月10日
视频生成的前沿论文,看我们推荐的7篇就够了
人工智能前沿讲习班
34+阅读 · 2018年12月30日
机器学习的Pytorch实现资源集合
专知
11+阅读 · 2018年9月1日
【学界】基于条件深度卷积生成对抗网络的图像识别方法
GAN生成式对抗网络
16+阅读 · 2018年7月26日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
VIP会员
相关VIP内容
《利用合成数据生成加强军事决策支持》
专知会员服务
42+阅读 · 2024年12月30日
生成技术在时空数据挖掘中的应用
专知会员服务
39+阅读 · 2024年6月5日
谷歌最新《大语言模型合成数据的最佳实践和经验教训》
【MIT博士论文】优化理论与机器学习实践
专知会员服务
94+阅读 · 2022年6月30日
相关基金
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员