Functional grasping with dexterous robotic hands is a key capability for enabling tool use and complex manipulation, yet progress has been constrained by two persistent bottlenecks: the scarcity of large-scale datasets and the absence of integrated semantic and geometric reasoning in learned models. In this work, we present CorDex, a framework that robustly learns dexterous functional grasps of novel objects from synthetic data generated from just a single human demonstration. At the core of our approach is a correspondence-based data engine that generates diverse, high-quality training data in simulation. Based on the human demonstration, our data engine generates diverse object instances of the same category, transfers the expert grasp to the generated objects through correspondence estimation, and adapts the grasp through optimization. Building on the generated data, we introduce a multimodal prediction network that integrates visual and geometric information. By devising a local-global fusion module and an importance-aware sampling mechanism, we enable robust and computationally efficient prediction of functional dexterous grasps. Through extensive experiments across various object categories, we demonstrate that CorDex generalizes well to unseen object instances and significantly outperforms state-of-the-art baselines.


翻译:功能性灵巧抓取是机器人手实现工具使用和复杂操作的关键能力,但其进展一直受到两个持续瓶颈的制约:大规模数据集的稀缺性,以及学习模型中缺乏语义与几何推理的整合。在本工作中,我们提出了CorDex框架,该框架能够仅基于单次人类演示生成的合成数据,稳健地学习对新物体的功能性灵巧抓取。我们方法的核心是一个基于对应关系的数据引擎,它能在仿真中生成多样化、高质量的训练数据。基于人类演示,我们的数据引擎生成同一类别下的多样化物体实例,通过对应关系估计将专家抓取姿态迁移到生成的物体上,并通过优化进行适配。基于生成的数据,我们引入了一个融合视觉与几何信息的多模态预测网络。通过设计局部-全局融合模块和重要性感知采样机制,我们实现了对功能性灵巧抓取的稳健且计算高效的预测。通过对多种物体类别的大量实验,我们证明CorDex能够很好地泛化到未见过的物体实例,并显著优于现有最先进的基线方法。

0
下载
关闭预览

相关内容

从HPO到NAS: 自动深度学习
专知会员服务
39+阅读 · 2020年6月15日
图机器学习 2.2-2.4 Properties of Networks, Random Graph
图与推荐
10+阅读 · 2020年3月28日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
14+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
16+阅读 · 2013年12月31日
国家自然科学基金
17+阅读 · 2008年12月31日
VIP会员
相关基金
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
14+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
16+阅读 · 2013年12月31日
国家自然科学基金
17+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员