Robot imitation learning is often hindered by the high cost of collecting large-scale, real-world data. This challenge is especially significant for low-cost robots designed for home use, as they must be both user-friendly and affordable. To address this, we propose the EasyMimic framework, a low-cost and replicable solution that enables robots to quickly learn manipulation policies from human video demonstrations captured with standard RGB cameras. Our method first extracts 3D hand trajectories from the videos. An action alignment module then maps these trajectories to the gripper control space of a low-cost robot. To bridge the human-to-robot domain gap, we introduce a simple and user-friendly hand visual augmentation strategy. We then use a co-training method, fine-tuning a model on both the processed human data and a small amount of robot data, enabling rapid adaptation to new tasks. Experiments on the low-cost LeRobot platform demonstrate that EasyMimic achieves high performance across various manipulation tasks. It significantly reduces the reliance on expensive robot data collection, offering a practical path for bringing intelligent robots into homes. Project website: https://zt375356.github.io/EasyMimic-Project/.


翻译:机器人模仿学习常常受限于收集大规模真实世界数据的高昂成本。这一挑战对于面向家庭应用设计的低成本机器人尤为显著,因为它们必须兼具用户友好性和经济性。为解决此问题,我们提出了EasyMimic框架,这是一个低成本且可复现的解决方案,能使机器人从标准RGB相机捕获的人类视频演示中快速学习操作策略。我们的方法首先从视频中提取三维手部轨迹。随后,一个动作对齐模块将这些轨迹映射到低成本机器人的夹爪控制空间。为弥合人机领域差异,我们引入了一种简单且用户友好的手部视觉增强策略。接着,我们采用协同训练方法,在已处理的人类数据与少量机器人数据上对模型进行微调,从而实现对新型任务的快速适应。在低成本LeRobot平台上的实验表明,EasyMimic在多种操作任务中均实现了高性能。它显著降低了对昂贵机器人数据收集的依赖,为将智能机器人引入家庭提供了一条实用路径。项目网站:https://zt375356.github.io/EasyMimic-Project/。

0
下载
关闭预览

相关内容

【UIUC博士论文】《从视频中进行机器人学习》
专知会员服务
25+阅读 · 2024年12月20日
【Cornell大学】机器人学习课程
专知会员服务
24+阅读 · 2024年11月11日
大数据分析研究组开源Easy Machine Learning系统
中国科学院网络数据重点实验室
17+阅读 · 2017年6月13日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
21+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2013年12月31日
国家自然科学基金
23+阅读 · 2009年12月31日
国家自然科学基金
48+阅读 · 2009年12月31日
VIP会员
相关基金
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
21+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2013年12月31日
国家自然科学基金
23+阅读 · 2009年12月31日
国家自然科学基金
48+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员