Generalizing language-conditioned multi-task imitation learning (IL) models to novel long-horizon 3D manipulation tasks is challenging. To address this, we propose DeCo (Task Decomposition and Skill Composition), a model-agnostic framework that enhances zero-shot generalization to compositional long-horizon manipulation tasks. DeCo decomposes IL demonstrations into modular atomic tasks based on gripper-object interactions, creating a dataset that enables models to learn reusable skills. At inference, DeCo uses a vision-language model (VLM) to parse high-level instructions, retrieve relevant skills, and dynamically schedule their execution. A spatially-aware skill-chaining module ensures smooth, collision-free transitions between skills. We introduce DeCoBench, a benchmark designed to evaluate compositional generalization in long-horizon manipulation tasks. DeCo improves the success rate of three IL models, RVT-2, 3DDA, and ARP, by 66.67%, 21.53%, and 57.92%, respectively, on 12 novel tasks. In real-world experiments, the DeCo-enhanced model, trained on only 6 atomic tasks, completes 9 novel tasks in zero-shot, with a 53.33% improvement over the baseline model. Project website: https://deco226.github.io.


翻译:泛化语言条件多任务模仿学习模型至新颖的长时程三维操作任务具有挑战性。为此,我们提出DeCo(任务分解与技能组合),一个模型无关的框架,旨在增强对组合式长时程操作任务的零样本泛化能力。DeCo基于夹爪-物体交互将模仿学习示范分解为模块化的原子任务,构建一个数据集,使模型能够学习可复用的技能。在推理阶段,DeCo利用视觉语言模型解析高层指令,检索相关技能,并动态调度其执行。一个空间感知的技能链式模块确保技能间平滑、无碰撞的过渡。我们引入了DeCoBench,一个专为评估长时程操作任务中组合泛化能力而设计的基准。在12项新颖任务上,DeCo分别将三种模仿学习模型RVT-2、3DDA和ARP的成功率提升了66.67%、21.53%和57.92%。在真实世界实验中,仅基于6个原子任务训练的DeCo增强模型,以零样本方式完成了9项新颖任务,相较于基线模型提升了53.33%的成功率。项目网站:https://deco226.github.io。

0
下载
关闭预览

相关内容

【NeurIPS 2023】基于时间注意力的多任务强化学习对比模块
《多任务学习》最新综述论文,20页pdf
专知会员服务
126+阅读 · 2021年4月6日
多模态多任务学习新论文
专知
46+阅读 · 2019年2月9日
DeepMind:用PopArt进行多任务深度强化学习
论智
29+阅读 · 2018年9月14日
半监督多任务学习:Semisupervised Multitask Learning
我爱读PAMI
18+阅读 · 2018年4月29日
国家自然科学基金
42+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
48+阅读 · 2009年12月31日
VIP会员
相关VIP内容
【NeurIPS 2023】基于时间注意力的多任务强化学习对比模块
《多任务学习》最新综述论文,20页pdf
专知会员服务
126+阅读 · 2021年4月6日
相关基金
国家自然科学基金
42+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
48+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员