Generalizable grasping with high-degree-of-freedom (DoF) dexterous hands remains challenging in tiered workspaces, where occlusion, narrow clearances, and height-dependent constraints are substantially stronger than in open tabletop scenes. Most existing methods are evaluated in relatively unoccluded settings and typically do not explicitly model the distinct control requirements of arm navigation and hand articulation under spatial constraints. We present SpaceDex, a hierarchical framework for dexterous manipulation in constrained 3D environments. At the high level, a Vision-Language Model (VLM) planner parses user intent, reasons about occlusion and height relations across multiple camera views, and generates target bounding boxes for zero-shot segmentation and mask tracking. This stage provides structured spatial guidance for downstream control instead of relying on single-view target selection. At the low level, we introduce an arm-hand Feature Separation Network that decouples global trajectory control for the arm from geometry-aware grasp mode selection for the hand, reducing feature interference between reaching and grasping objectives. The controller further integrates multi-view perception, fingertip tactile sensing, and a small set of recovery demonstrations to improve robustness to partial observability and off-nominal contacts. In 100 real-world trials involving over 30 unseen objects across four categories, SpaceDex achieves a 63.0\% success rate, compared with 39.0\% for a strong tabletop baseline. These results indicate that combining hierarchical spatial planning with arm-hand representation decoupling improves dexterous grasping performance in spatially constrained environments.


翻译:可泛化的高自由度灵巧手抓取在分层工作空间中仍具挑战性,此类场景中的遮挡、狭窄间隙及高度相关约束显著强于开放桌面环境。现有方法大多在遮挡较少的场景中评估,且通常未显式建模空间约束下手臂导航与手部关节动作的差异化控制需求。我们提出SpaceDex——一种面向受限三维环境的灵巧操作分层框架。在高层级,视觉-语言模型规划器解析用户意图,推理多视角间的遮挡与高度关系,生成目标边界框用于零样本分割与掩码追踪。该阶段为下游控制提供结构化空间引导,而非依赖单视角目标选择。在低层级,我们引入手臂-手部特征解耦网络,将手臂全局轨迹控制与手部几何感知抓取模式选择相分离,减少到达目标与抓取目标间的特征干扰。控制器进一步融合多视角感知、指尖触觉传感及少量恢复示范,以提升对部分可观测性与非正常接触的鲁棒性。在涉及30余种未见物体的四类100次真实世界实验中,SpaceDex实现了63.0%的成功率,而强桌面基线方法为39.0%。结果表明,结合分层空间规划与手臂-手部表征解耦可提升空间受限环境下的灵巧抓取性能。

0
下载
关闭预览

相关内容

空间飞行器轨迹优化与控制技术发展现状与展望
专知会员服务
19+阅读 · 2024年10月20日
深度学习中Attention Mechanism详细介绍:原理、分类及应用
深度学习与NLP
10+阅读 · 2019年2月18日
【前沿】凌空手势识别综述
科技导报
12+阅读 · 2017年8月17日
讲堂|郑宇:多源数据融合与时空数据挖掘(下)
微软研究院AI头条
18+阅读 · 2017年4月18日
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
最新内容
美国军方使用的10种反无人机武器(2026年更新)
专知会员服务
1+阅读 · 46分钟前
认知战与交战性质的改变:神经战略视角
专知会员服务
5+阅读 · 5月8日
相关基金
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员