Long-horizon contact-rich bimanual manipulation presents a significant challenge, requiring complex coordination involving a mixture of parallel execution and sequential collaboration between arms. In this paper, we introduce a hierarchical framework that frames this challenge as an integrated skill planning & scheduling problem, going beyond purely sequential decision-making to support simultaneous skill invocation. Our approach is built upon a library of single-arm and bimanual primitive skills, each trained using Reinforcement Learning (RL) in GPU-accelerated simulation. We then train a Transformer-based planner on a dataset of skill compositions to act as a high-level scheduler, simultaneously predicting the discrete schedule of skills as well as their continuous parameters. We demonstrate that our method achieves higher success rates on complex, contact-rich tasks than end-to-end RL approaches and produces more efficient, coordinated behaviors than traditional sequential-only planners.


翻译:长时程、高接触的双手操作任务提出了重大挑战,需要双臂之间混合并行执行与顺序协作的复杂协调。本文提出一种分层框架,将这一挑战构建为一个集成的技能规划与调度问题,超越了纯顺序决策,支持技能的同时调用。我们的方法建立在一个单臂与双手基础技能库之上,每个技能均在GPU加速的仿真环境中使用强化学习(RL)进行训练。随后,我们在技能组合数据集上训练一个基于Transformer的规划器,作为高层调度器,同时预测技能的离散调度序列及其连续参数。实验表明,我们的方法在复杂、高接触的任务上比端到端RL方法取得了更高的成功率,并且比传统的纯顺序规划器产生了更高效、协调的行为。

0
下载
关闭预览

相关内容

深度强化学习与模仿学习导论
专知会员服务
25+阅读 · 2025年12月10日
《基于分层多智能体强化学习的逼真空战协同策略》
专知会员服务
39+阅读 · 2025年10月30日
《基于二元优化与图学习的多智能体行动方案自动生成》
《用于空战机动的分层多智能体强化学习》
专知会员服务
66+阅读 · 2023年10月5日
战术先验知识启发的多智能体双层强化学习
专知会员服务
115+阅读 · 2023年5月9日
使用强化学习训练机械臂完成人类任务
AI研习社
14+阅读 · 2019年3月23日
干货|浅谈强化学习的方法及学习路线
机器学习算法与Python学习
16+阅读 · 2018年3月28日
【强化学习】强化学习+深度学习=人工智能
产业智能官
55+阅读 · 2017年8月11日
国家自然科学基金
13+阅读 · 2016年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2013年12月31日
国家自然科学基金
23+阅读 · 2009年12月31日
国家自然科学基金
48+阅读 · 2009年12月31日
VIP会员
相关基金
国家自然科学基金
13+阅读 · 2016年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2013年12月31日
国家自然科学基金
23+阅读 · 2009年12月31日
国家自然科学基金
48+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员