Imitation learning has demonstrated strong performance in robotic manipulation by learning from large-scale human demonstrations. While existing models excel at single-task learning, it is observed in practical applications that their performance degrades in the multi-task setting, where interference across tasks leads to an averaging effect. To address this issue, we propose to learn diverse skills for behavior models with Mixture of Experts, referred to as Di-BM. Di-BM associates each expert with a distinct observation distribution, enabling experts to specialize in sub-regions of the observation space. Specifically, we employ energy-based models to represent expert-specific observation distributions and jointly train them alongside the corresponding action models. Our approach is plug-and-play and can be seamlessly integrated into standard imitation learning methods. Extensive experiments on multiple real-world robotic manipulation tasks demonstrate that Di-BM significantly outperforms state-of-the-art baselines. Moreover, fine-tuning the pretrained Di-BM on novel tasks exhibits superior data efficiency and the reusable of expert-learned knowledge. Code is available at https://github.com/robotnav-bot/Di-BM.


翻译:模仿学习通过从大规模人类演示中学习,在机器人操作任务中展现出卓越性能。现有模型在单任务学习中表现优异,但在实际应用中发现,其在多任务场景下的性能会下降,任务间的相互干扰导致平均化效应。为解决这一问题,我们提出基于专家混合学习行为模型的多样化技能,简称Di-BM。Di-BM将每个专家与特定的观测分布相关联,使专家能够专注于观测空间的子区域。具体而言,我们采用基于能量的模型来表示专家特定的观测分布,并将其与相应的动作模型进行联合训练。该方法具有即插即用特性,可无缝集成到标准模仿学习方法中。在多个真实世界机器人操作任务上的大量实验表明,Di-BM显著优于当前最先进的基线方法。此外,在新任务上对预训练的Di-BM进行微调,展现出更优的数据效率以及专家习得知识的可复用性。代码发布于https://github.com/robotnav-bot/Di-BM。

0
下载
关闭预览

相关内容

深度学习时代的模仿学习:新型分类体系与最新研究进展
视觉语言多模态预训练综述
专知会员服务
122+阅读 · 2022年7月11日
【Paul Liang】多模态深度学习,Multimodal Deep Learning
专知会员服务
185+阅读 · 2022年4月12日
专知会员服务
48+阅读 · 2021年7月2日
【NeurIPS 2020】生成对抗性模仿学习的f-Divergence
专知会员服务
26+阅读 · 2020年10月9日
基于模型的强化学习综述
专知
42+阅读 · 2022年7月13日
深度多模态表示学习综述论文,22页pdf
专知
33+阅读 · 2020年6月21日
这可能是「多模态机器学习」最通俗易懂的介绍
计算机视觉life
113+阅读 · 2018年12月20日
DeepMind:用PopArt进行多任务深度强化学习
论智
29+阅读 · 2018年9月14日
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
21+阅读 · 2015年12月31日
国家自然科学基金
14+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
19+阅读 · 2012年12月31日
国家自然科学基金
23+阅读 · 2009年12月31日
国家自然科学基金
48+阅读 · 2009年12月31日
VIP会员
相关基金
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
21+阅读 · 2015年12月31日
国家自然科学基金
14+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
19+阅读 · 2012年12月31日
国家自然科学基金
23+阅读 · 2009年12月31日
国家自然科学基金
48+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员