This work presents DemoBot, a learning framework that enables a dual-arm, multi-finger robotic system to acquire complex manipulation skills from a single unannotated RGB-D video demonstration. The method extracts structured motion trajectories of both hands and objects from raw video data. These trajectories serve as motion priors for a novel reinforcement learning (RL) pipeline that learns to refine them through contact-rich interactions, thereby eliminating the need to learn from scratch. To address the challenge of learning long-horizon manipulation skills, we introduce: (1) Temporal-segment based RL to enforce temporal alignment of the current state with demonstrations; (2) Success-Gated Reset strategy to balance the refinement of readily acquired skills and the exploration of subsequent task stages; and (3) Event-Driven Reward curriculum with adaptive thresholding to guide the RL learning of high-precision manipulation. The novel video processing and RL framework successfully achieved long-horizon synchronous and asynchronous bimanual assembly tasks, offering a scalable approach for direct skill acquisition from human videos.


翻译:本研究提出DemoBot,一种学习框架,使双机械臂多指机器人系统能够从单个无标注RGB-D视频演示中习得复杂操作技能。该方法从原始视频数据中提取双手及物体的结构化运动轨迹。这些轨迹作为新型强化学习(RL)流程的运动先验,通过密集接触交互学习对其进行优化,从而避免了从零开始学习。为应对长时程操作技能学习的挑战,我们引入:(1)基于时间分段的强化学习,强制当前状态与演示的时间对齐;(2)成功门控重置策略,平衡已掌握技能的优化与后续任务阶段的探索;(3)事件驱动的奖励课程与自适应阈值机制,以指导高精度操作的强化学习。该创新的视频处理与强化学习框架成功实现了长时程同步与异步双手装配任务,为从人类视频直接获取技能提供了可扩展的解决方案。

0
下载
关闭预览

相关内容

论文浅尝 | GEOM-GCN: Geometric Graph Convolutional Networks
开放知识图谱
14+阅读 · 2020年4月8日
DeepMind:用PopArt进行多任务深度强化学习
论智
29+阅读 · 2018年9月14日
论文浅尝 | Know-Evolve: Deep Temporal Reasoning for Dynamic KG
开放知识图谱
36+阅读 · 2018年3月30日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
17+阅读 · 2008年12月31日
VIP会员
相关基金
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
17+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员