Vision-language-action (VLA) models have enabled language-conditioned, long-horizon robot manipulation, but most existing systems are limited to grippers. Scaling VLA policies to bimanual robots with high degree-of-freedom (DoF) dexterous hands remains challenging due to the expanded action space, frequent hand-object occlusions, and the cost of collecting real-robot data. We present GR-Dexter, a holistic hardware-model-data framework for VLA-based generalist manipulation on a bimanual dexterous-hand robot. Our approach combines the design of a compact 21-DoF robotic hand, an intuitive bimanual teleoperation system for real-robot data collection, and a training recipe that leverages teleoperated robot trajectories together with large-scale vision-language and carefully curated cross-embodiment datasets. Across real-world evaluations spanning long-horizon everyday manipulation and generalizable pick-and-place, GR-Dexter achieves strong in-domain performance and improved robustness to unseen objects and unseen instructions. We hope GR-Dexter serves as a practical step toward generalist dexterous-hand robotic manipulation.


翻译:视觉-语言-动作(VLA)模型已实现了语言条件化的长时程机器人操作,但现有系统大多局限于夹爪。将VLA策略扩展到具有高自由度灵巧手的双臂机器人仍然具有挑战性,这源于动作空间的扩大、频繁的手-物体遮挡以及真实机器人数据收集的成本。我们提出了GR-Dexter,这是一个面向双臂灵巧手机器人的、基于VLA的通用操作的整体硬件-模型-数据框架。我们的方法结合了紧凑型21自由度机器人手的设计、用于真实机器人数据收集的直观双臂遥操作系统,以及一种利用遥操作机器人轨迹、大规模视觉-语言数据和精心策划的跨具身数据集的训练方案。在涵盖长时程日常操作和泛化性拾放任务的真实世界评估中,GR-Dexter在领域内表现出色,并对未见过的物体和未见过的指令展现出更强的鲁棒性。我们希望GR-Dexter能成为迈向通用灵巧手机器人操作的一个实用步骤。

0
下载
关闭预览

相关内容

视觉-语言-动作模型解析:从模块构成到里程碑与挑战
专知会员服务
17+阅读 · 2025年12月17日
《未来士兵技术进展》报告
专知会员服务
26+阅读 · 2025年12月9日
《机器人弹性物体感知技术研究》227页
专知会员服务
15+阅读 · 2025年11月20日
面向具身操作的高效视觉–语言–动作模型:系统综述
专知会员服务
24+阅读 · 2025年10月22日
基础模型驱动的机器人技术:全面综述
专知会员服务
30+阅读 · 2025年7月15日
视觉语言动作模型:概念、进展、应用与挑战
专知会员服务
19+阅读 · 2025年5月18日
《机器人语言》美陆军5年项目46页技术总结报告,2023年
专知会员服务
39+阅读 · 2023年5月17日
进一步改进GPT和BERT:使用Transformer的语言模型
机器之心
16+阅读 · 2019年5月1日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 1月29日
Arxiv
0+阅读 · 1月15日
Arxiv
0+阅读 · 1月14日
Arxiv
0+阅读 · 1月5日
VIP会员
相关VIP内容
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员