Achieving human-level manipulation requires dexterous robotic hands capable of complex object interactions. Advancing such capabilities further demands standardized benchmarks for systematic evaluation. However, existing dexterous benchmarks lack tasks that reflect the unique manipulation capabilities of dexterous hands over parallel grippers, as well as comprehensive evaluation pipelines. In this paper, we present DexJoCo, a benchmark and toolkit for task-oriented dexterous manipulation, comprising 11 functionally grounded tasks that evaluate tool-use, bimanual coordination, long-horizon execution, and reasoning. We develop a low-cost data collection system and collect 1.1K trajectories across these tasks, with support for domain randomization to assess robustness. We benchmark modern models under diverse settings, including visual and dynamics randomization, multi-task training, and action-head adaptation. Through extensive empirical analysis, we identify several important insights and common limitations of current policies in dexterous manipulation, highlighting key challenges for future research in dexterous hand robot learning. Project page available at: https://dexjoco.github.io


翻译:实现人类级别的操控需要能够进行复杂物体交互的灵巧机械手。进一步推进此类能力需要标准化的基准来系统评估。然而,现有的灵巧操作基准缺乏能体现灵巧手相对于平行夹爪独特操控能力的任务,也缺少全面的评估流程。本文提出DexJoCo,一个面向任务导向的灵巧操作基准与工具包,包含11个功能导向型任务,用于评估工具使用、双手协调、长时域执行和推理能力。我们开发了低成本数据采集系统,收集了这些任务上的1100条轨迹,并支持域随机化以评估鲁棒性。我们在多样化设置(包括视觉与动力学随机化、多任务训练和动作头适配)下对现代模型进行了基准测试。通过广泛的实证分析,我们识别出当前灵巧操作策略中的若干重要见解与常见局限,揭示了灵巧手机器人学习未来研究的关键挑战。项目页面:https://dexjoco.github.io

0
下载
关闭预览

相关内容

机器人(英语:Robot)包括一切模拟人类行为或思想与模拟其他生物的机械(如机器狗,机器猫等)。狭义上对机器人的定义还有很多分类法及争议,有些电脑程序甚至也被称为机器人。在当代工业中,机器人指能自动运行任务的人造机器设备,用以取代或协助人类工作,一般会是机电设备,由计算机程序或是电子电路控制。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
灵巧手:人形机器人应用落地的关键
专知会员服务
22+阅读 · 2024年9月26日
【CMU博士论文】强化学习的泛化灵巧性,182页pdf
专知会员服务
42+阅读 · 2023年11月4日
CALDERA 一款对手自动模拟工具
黑白之道
20+阅读 · 2019年9月17日
【pix4D篇】——Pix4D软件介绍
无人机
18+阅读 · 2018年8月1日
深度文本匹配开源工具(MatchZoo)
机器学习研究会
10+阅读 · 2017年12月5日
国家自然科学基金
11+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2013年12月31日
VIP会员
最新内容
美空军选定两家供应商研制AI驾驶战斗无人机
专知会员服务
2+阅读 · 6月29日
乌克兰战场上的创新技术
专知会员服务
5+阅读 · 6月29日
《安全且具韧性的太空通信》300页
专知会员服务
4+阅读 · 6月29日
透视欧洲下一代“主战地面作战系统”(MGCS)
专知会员服务
3+阅读 · 6月29日
无人机数据战
专知会员服务
8+阅读 · 6月28日
无人机非战争未来——实为亟待破解之困局
专知会员服务
5+阅读 · 6月28日
相关基金
国家自然科学基金
11+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2013年12月31日
Top
微信扫码咨询专知VIP会员