We propose DemoDiffusion, a simple method for enabling robots to perform manipulation tasks by imitating a single human demonstration, without requiring task-specific training or paired human-robot data. Our approach is based on two insights. First, the hand motion in a human demonstration provides a useful prior for the robot's end-effector trajectory, which we can convert into a rough open-loop robot motion trajectory via kinematic retargeting. Second, while this retargeted motion captures the overall structure of the task, it may not align well with plausible robot actions in-context. To address this, we leverage a pre-trained generalist diffusion policy to modify the trajectory, ensuring it both follows the human motion and remains within the distribution of plausible robot actions. Unlike approaches based on online reinforcement learning or paired human-robot data, our method enables robust adaptation to new tasks and scenes with minimal effort. In real-world experiments across 8 diverse manipulation tasks, DemoDiffusion achieves 83.8\% average success rate, compared to 13.8\% for the pre-trained policy and 52.5\% for kinematic retargeting, succeeding even on tasks where the pre-trained generalist policy fails entirely. Project page: https://demodiffusion.github.io/


翻译:我们提出DemoDiffusion,一种使机器人能够通过模仿单次人类演示来执行操作任务的简单方法,无需任务特定训练或配对的人机数据。我们的方法基于两个关键见解。首先,人类演示中的手部运动为机器人末端执行器的轨迹提供了有用的先验,我们可以通过运动学重定向将其转换为粗略的开环机器人运动轨迹。其次,虽然这种重定向运动捕捉了任务的整体结构,但它可能与上下文中的合理机器人动作不够吻合。为解决这一问题,我们利用预训练的通用扩散策略来修改轨迹,确保其既遵循人类运动又保持在合理机器人动作的分布范围内。与基于在线强化学习或配对人机数据的方法不同,我们的方法能够以最小代价实现对新任务和场景的鲁棒适应。在涵盖8个不同操作任务的真实世界实验中,DemoDiffusion实现了83.8%的平均成功率,而预训练策略为13.8%,运动学重定向为52.5%,甚至在预训练通用策略完全失败的任务上也取得了成功。项目页面:https://demodiffusion.github.io/

0
下载
关闭预览

相关内容

在搭建网络模型时,需要随机初始化参数,然后开始训练网络,不断调整直到网络的损失越来越小。在训练的过程中,一开始初始化的参数会不断变化。当参数训练到比较好的时候就可以将训练模型的参数保存下来,以便训练好的模型可以在下次执行类似任务时获得较好的结果。
《人机协作的避撞决策模型》美国陆军2023最新报告
专知会员服务
67+阅读 · 2023年4月17日
专知会员服务
48+阅读 · 2021年7月2日
机器人运动轨迹的模仿学习综述
专知会员服务
45+阅读 · 2021年6月8日
多模态预训练模型简述
专知会员服务
115+阅读 · 2021年4月27日
浅谈主动学习(Active Learning)
凡人机器学习
32+阅读 · 2020年6月18日
绝对干货!NLP预训练模型:从transformer到albert
新智元
13+阅读 · 2019年11月10日
【学界】虚拟对抗训练:一种新颖的半监督学习正则化方法
GAN生成式对抗网络
10+阅读 · 2019年6月9日
国家自然科学基金
11+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2013年12月31日
国家自然科学基金
19+阅读 · 2012年12月31日
VIP会员
最新内容
(中文)AUKUS第二支柱中的人工智能与自主性方案
(译文)认知战:以士兵为目标,塑造战略
专知会员服务
0+阅读 · 今天3:12
(中文)认知战的本体论基础(2026报告)
专知会员服务
5+阅读 · 今天1:45
美空军条令(2026):外国对内防御
专知会员服务
2+阅读 · 今天1:32
美国与以色列如何在攻击伊朗中使用人工智能
专知会员服务
6+阅读 · 4月16日
《自动化战略情报管控》
专知会员服务
3+阅读 · 4月16日
得失评估:审视对伊朗战争的轨迹(简报)
专知会员服务
3+阅读 · 4月16日
【CMU博士论文】迈向可解释机器学习的理论基础
相关VIP内容
相关基金
国家自然科学基金
11+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2013年12月31日
国家自然科学基金
19+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员