Vision-language-action (VLA) models have enabled language-conditioned, long-horizon robot manipulation, but most existing systems are limited to grippers. Scaling VLA policies to bimanual robots with high degree-of-freedom (DoF) dexterous hands remains challenging due to the expanded action space, frequent hand-object occlusions, and the cost of collecting real-robot data. We present GR-Dexter, a holistic hardware-model-data framework for VLA-based generalist manipulation on a bimanual dexterous-hand robot. Our approach combines the design of a compact 21-DoF robotic hand, an intuitive bimanual teleoperation system for real-robot data collection, and a training recipe that leverages teleoperated robot trajectories together with large-scale vision-language and carefully curated cross-embodiment datasets. Across real-world evaluations spanning long-horizon everyday manipulation and generalizable pick-and-place, GR-Dexter achieves strong in-domain performance and improved robustness to unseen objects and unseen instructions. We hope GR-Dexter serves as a practical step toward generalist dexterous-hand robotic manipulation.


翻译:视觉-语言-动作(VLA)模型已实现了语言条件化的长时程机器人操作,但现有系统大多局限于夹爪。将VLA策略扩展到具有高自由度灵巧手的双臂机器人仍然具有挑战性,这源于动作空间的扩大、频繁的手-物体遮挡以及真实机器人数据收集的成本。我们提出了GR-Dexter,这是一个面向双臂灵巧手机器人的、基于VLA的通用操作的整体硬件-模型-数据框架。我们的方法结合了紧凑型21自由度机器人手的设计、用于真实机器人数据收集的直观双臂遥操作系统,以及一种利用遥操作机器人轨迹、大规模视觉-语言数据和精心策划的跨具身数据集的训练方案。在涵盖长时程日常操作和泛化性拾放任务的真实世界评估中,GR-Dexter在领域内表现出色,并对未见过的物体和未见过的指令展现出更强的鲁棒性。我们希望GR-Dexter能成为迈向通用灵巧手机器人操作的一个实用步骤。

0
下载
关闭预览

相关内容

【NeurIPS2022】SparCL:边缘稀疏持续学习
专知会员服务
24+阅读 · 2022年9月22日
【CVPR 2021】变换器跟踪TransT: Transformer Tracking
专知会员服务
22+阅读 · 2021年4月20日
【NeurIPS2019】图变换网络:Graph Transformer Network
专知会员服务
112+阅读 · 2019年11月25日
ICLR'21 | GNN联邦学习的新基准
图与推荐
12+阅读 · 2021年11月15日
论文浅尝 | GEOM-GCN: Geometric Graph Convolutional Networks
开放知识图谱
14+阅读 · 2020年4月8日
【NeurIPS2019】图变换网络:Graph Transformer Network
LibRec 每周算法:DeepFM
LibRec智能推荐
14+阅读 · 2017年11月6日
国家自然科学基金
18+阅读 · 2017年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Arxiv
0+阅读 · 1月8日
Arxiv
0+阅读 · 1月7日
Time-Aware Synthetic Control
Arxiv
0+阅读 · 1月6日
Arxiv
0+阅读 · 1月5日
Arxiv
0+阅读 · 2025年12月31日
VIP会员
相关VIP内容
【NeurIPS2022】SparCL:边缘稀疏持续学习
专知会员服务
24+阅读 · 2022年9月22日
【CVPR 2021】变换器跟踪TransT: Transformer Tracking
专知会员服务
22+阅读 · 2021年4月20日
【NeurIPS2019】图变换网络:Graph Transformer Network
专知会员服务
112+阅读 · 2019年11月25日
相关资讯
ICLR'21 | GNN联邦学习的新基准
图与推荐
12+阅读 · 2021年11月15日
论文浅尝 | GEOM-GCN: Geometric Graph Convolutional Networks
开放知识图谱
14+阅读 · 2020年4月8日
【NeurIPS2019】图变换网络:Graph Transformer Network
LibRec 每周算法:DeepFM
LibRec智能推荐
14+阅读 · 2017年11月6日
相关论文
Arxiv
0+阅读 · 1月8日
Arxiv
0+阅读 · 1月7日
Time-Aware Synthetic Control
Arxiv
0+阅读 · 1月6日
Arxiv
0+阅读 · 1月5日
Arxiv
0+阅读 · 2025年12月31日
相关基金
国家自然科学基金
18+阅读 · 2017年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员