Transforming complex actions into discrete skill abstractions has demonstrated strong potential for robotic manipulation. Existing approaches mainly leverage latent variable models, e.g., VQ-VAE, to learn skill abstractions through learned vectors (codebooks), while they suffer from codebook collapse and modeling the causal relationship between learned skills. To address these limitations, we present \textbf{S}kill \textbf{T}raining with \textbf{A}ugmented \textbf{R}otation (\textbf{STAR}), a framework that advances both skill learning and composition to complete complex behaviors. Specifically, to prevent codebook collapse, we devise rotation-augmented residual skill quantization (RaRSQ). It encodes relative angles between encoder outputs into the gradient flow by rotation-based gradient mechanism. Points within the same skill code are forced to be either pushed apart or pulled closer together depending on gradient directions. Further, to capture the causal relationship between skills, we present causal skill transformer (CST) which explicitly models dependencies between skill representations through an autoregressive mechanism for coherent action generation. Extensive experiments demonstrate the superiority of STAR on both LIBERO benchmark and realworld tasks, with around 12\% improvement over the baselines.


翻译:将复杂动作转化为离散技能抽象已在机器人操作中展现出强大潜力。现有方法主要利用潜在变量模型(如VQ-VAE)通过学习向量(码本)来学习技能抽象,但这些方法面临码本崩溃问题,且难以建模所学技能间的因果关系。为解决上述限制,我们提出\textbf{旋}转增\textbf{强}技能\textbf{训}练(\textbf{STAR})框架,该框架同时提升技能学习与组合能力,以完成复杂行为。具体而言,为防止码本崩溃,我们设计了旋转增强残差技能量化方法(RaRSQ)。该方法通过基于旋转的梯度机制,将编码器输出之间的相对角度编码至梯度流中。根据梯度方向,同一技能码内的点会被强制相互推离或拉近。此外,为捕捉技能间的因果关系,我们提出了因果技能变换器(CST),通过自回归机制显式建模技能表示间的依赖关系,以实现连贯的动作生成。大量实验表明,STAR在LIBERO基准测试和真实世界任务中均具有优越性,相较于基线方法提升约12%。

0
下载
关闭预览

相关内容

不可错过!普林斯顿《机器人导论》课程,附Slides
专知会员服务
27+阅读 · 2022年12月18日
【ICML2022】Transformer是元强化学习器
专知会员服务
56+阅读 · 2022年6月15日
机器人运动轨迹的模仿学习综述
专知会员服务
45+阅读 · 2021年6月8日
清华大学《高级机器学习》课程
专知
40+阅读 · 2020年7月21日
使用强化学习训练机械臂完成人类任务
AI研习社
14+阅读 · 2019年3月23日
多图带你读懂 Transformers 的工作原理
AI研习社
10+阅读 · 2019年3月18日
PlaNet 简介:用于强化学习的深度规划网络
谷歌开发者
13+阅读 · 2019年3月16日
国家自然科学基金
15+阅读 · 2016年12月31日
国家自然科学基金
11+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2013年12月31日
国家自然科学基金
23+阅读 · 2009年12月31日
国家自然科学基金
50+阅读 · 2009年12月31日
国家自然科学基金
12+阅读 · 2008年12月31日
VIP会员
最新内容
反制无人机:乌克兰提供的五点启示
专知会员服务
7+阅读 · 9月23日
《各指挥层级均亟需红队能力》报告
专知会员服务
7+阅读 · 9月23日
《航电任务系统框架(FAMOS)》50页报告
专知会员服务
4+阅读 · 9月22日
《对抗行动中的人工智能与自主性》智库报告
专知会员服务
8+阅读 · 9月22日
《从数据到胜利:战争中的分析优势之争》
专知会员服务
10+阅读 · 9月22日
战争不仅需要机器人:人类仍不可或缺
专知会员服务
6+阅读 · 9月21日
《描绘美国防部创新基础设施的未来蓝图》100页
专知会员服务
10+阅读 · 9月21日
相关基金
国家自然科学基金
15+阅读 · 2016年12月31日
国家自然科学基金
11+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2013年12月31日
国家自然科学基金
23+阅读 · 2009年12月31日
国家自然科学基金
50+阅读 · 2009年12月31日
国家自然科学基金
12+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员