Task-oriented dexterous grasping remains challenging in robotic manipulations of open-world objects under severe partial observation, where significant missing data invalidates generic shape completion. In this paper, to overcome this limitation, we study Task-Oriented Shape Completion, a new task that focuses on completing the potential contact regions rather than the entire shape. We argue that shape completion for grasping should be explicitly guided by the downstream manipulation task. To achieve this, we first generate multiple task-oriented shape completion candidates by leveraging the zero-shot capabilities of object functional understanding from several pre-trained foundation models. A 3D discriminative autoencoder is then proposed to evaluate the plausibility of each generated candidate and optimize the most plausible one from a global perspective. A conditional flow-matching model named FlowGrasp is developed to generate task-oriented dexterous grasps from the optimized shape. Our method achieves state-of-the-art performance in task-oriented dexterous grasping and task-oriented shape completion, improving the Grasp Displacement and the Chamfer Distance over the state-of-the-art by 16.17\% and 55.26%, respectively. In particular, it shows good capabilities in grasping objects with severe missing data. It also demonstrates good generality in handling open-set categories and tasks.


翻译:在严重局部观测条件下对开放世界物体进行机器人灵巧抓取操作时,任务导向的灵巧抓取仍然面临挑战,因为显著的数据缺失使得通用形状补全方法失效。本文为克服这一局限,研究了一种名为"任务导向形状补全"的新任务,其重点在于补全潜在的接触区域而非完整形状。我们认为抓取任务中的形状补全应当明确受下游操作任务的引导。为实现这一目标,我们首先利用多个预训练基础模型在物体功能理解方面的零样本能力,生成多个任务导向的形状补全候选。随后提出一种三维判别式自编码器来评估每个生成候选的合理性,并从全局视角优化最合理的候选形状。我们开发了名为FlowGrasp的条件流匹配模型,用于从优化后的形状生成任务导向的灵巧抓取姿态。我们的方法在任务导向灵巧抓取和任务导向形状补全方面均达到最先进性能,分别将抓取位移误差和倒角距离指标较现有最优方法提升了16.17%和55.26%。特别值得注意的是,该方法在严重数据缺失物体的抓取任务中展现出优异性能,同时在处理开放集类别和任务时表现出良好的泛化能力。

0
下载
关闭预览

相关内容

Deep Image Prior——图像恢复入门
中国人工智能学会
15+阅读 · 2019年2月16日
论文浅尝 | Know-Evolve: Deep Temporal Reasoning for Dynamic KG
开放知识图谱
36+阅读 · 2018年3月30日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员