Dexterous manipulation remains one of the most challenging problems in robotics, requiring coherent control of high-DoF hands and arms under complex, contact-rich dynamics. A major barrier is embodiment variability: different dexterous hands exhibit distinct kinematics and dynamics, forcing prior methods to train separate policies or rely on shared action spaces with per-embodiment decoder heads. We present DexFormer, an end-to-end, dynamics-aware cross-embodiment policy built on a modified transformer backbone that conditions on historical observations. By using temporal context to infer morphology and dynamics on the fly, DexFormer adapts to diverse hand configurations and produces embodiment-appropriate control actions. Trained over a variety of procedurally generated dexterous-hand assets, DexFormer acquires a generalizable manipulation prior and exhibits strong zero-shot transfer to Leap Hand, Allegro Hand, and Rapid Hand. Our results show that a single policy can generalize across heterogeneous hand embodiments, establishing a scalable foundation for cross-embodiment dexterous manipulation. Project website: https://davidlxu.github.io/DexFormer-web/.


翻译:灵巧操作仍然是机器人学中最具挑战性的问题之一,它要求在复杂、接触丰富的动力学环境下,对高自由度的手部和臂部进行协调控制。一个主要障碍是具身可变性:不同的灵巧手具有不同的运动学和动力学特性,这迫使先前的方法需要为每个具身训练独立的策略,或依赖于带有针对每个具身的解码器头的共享动作空间。我们提出了DexFormer,这是一种基于改进的Transformer主干网络构建的端到端、动力学感知的跨具身策略,它以历史观测为条件。通过利用时序上下文动态推断形态和动力学,DexFormer能够适应不同的手部配置,并产生适合特定具身的控制动作。在多种程序化生成的灵巧手资产上进行训练后,DexFormer获得了一个可泛化的操作先验,并在Leap Hand、Allegro Hand和Rapid Hand上表现出强大的零样本迁移能力。我们的结果表明,单一策略能够泛化到异构的手部具身,为跨具身灵巧操作建立了一个可扩展的基础。项目网站:https://davidlxu.github.io/DexFormer-web/。

0
下载
关闭预览

相关内容

灵巧手:人形机器人应用落地的关键
专知会员服务
22+阅读 · 2024年9月26日
【CMU博士论文】长度可外推的Transformer,149页pdf
专知会员服务
27+阅读 · 2024年6月30日
【CMU博士论文】强化学习的泛化灵巧性,182页pdf
专知会员服务
41+阅读 · 2023年11月4日
Transformer它就是个支持向量机
专知会员服务
38+阅读 · 2023年9月7日
144页ppt!《Transformers》全面讲解,附视频
专知会员服务
117+阅读 · 2023年1月1日
深度学习的下一步:Transformer和注意力机制
云头条
56+阅读 · 2019年9月14日
从头开始了解Transformer
AI科技评论
25+阅读 · 2019年8月28日
百闻不如一码!手把手教你用Python搭一个Transformer
大数据文摘
18+阅读 · 2019年4月22日
多图带你读懂 Transformers 的工作原理
AI研习社
10+阅读 · 2019年3月18日
FCS 论坛 | 孟德宇:误差建模原理
FCS
15+阅读 · 2017年8月17日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2013年12月31日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2013年12月31日
Top
微信扫码咨询专知VIP会员