Dexterous grasping depends on contact regulation, not motion alone. Stable manipulation requires fingers to maintain appropriate object loading as contacts slip, deform, or become visually occluded. Existing cross-embodiment dexterous policies unify motion through retargeted hand poses or latent actions, but force feedback remains tied to each hand's sensing and actuation, limiting transfer. This work introduces a cross-embodiment force-position interface for contact-aware manipulation across heterogeneous dexterous hands. Motion intent is represented in a shared hand-pose latent, while each hand's effort signal is calibrated through system identification into physical joint torque in N.m. These torques are mapped to fingertip forces and compact per-finger load descriptors, giving the policy comparable observations of where the hand should move and how the object is loaded. Using this interface, a flow-matching visuomotor policy is trained on vision, proprioception, and calibrated contact, with structured visual masking that encourages reliance on force under grasp-relevant occlusion. The same calibrated signal drives a hybrid force-position controller for demonstration collection and execution, keeping force targets consistent across training and deployment. Experiments across structurally different hands show that calibrated contact feedback enables transferable compliant grasping, with learned primitives reusable in long-horizon manipulation pipelines.


翻译:灵巧抓取的关键在于接触调控,而非单纯的运动控制。稳定的操作要求手指在接触滑动、变形或视觉遮挡时,维持适当的物体载荷。现有跨本体的灵巧策略通过重定向手部姿态或隐式动作统一运动,但力反馈仍受限于各手部的传感与驱动能力,从而制约了策略迁移。本研究提出一种跨本体力-位接口,实现异构灵巧手间的接触感知操作。运动意图以共享的手部姿态隐变量表示,同时通过系统辨识将各手部的驱动力信号校准为物理关节力矩(单位:N·m)。这些力矩被映射为指尖力及紧凑的指端载荷描述符,使策略获得关于手部运动目标与物体载荷状态的等效观测。基于该接口,训练一个流匹配视觉运动策略,输入信号包括视觉、本体感知及校准后的接触信息,并通过结构化视觉遮蔽机制,在抓取相关遮挡条件下增强策略对力的依赖性。同一校准信号驱动混合力-位控制器,用于示范采集与执行,确保训练与部署阶段的力指令一致性。针对结构差异显著的多款手部进行的实验表明,校准后的接触反馈可实现可迁移的柔顺抓取,且学习得到的基本动作可复用于长时操作任务链。

0
下载
关闭预览

相关内容

灵巧手:人形机器人应用落地的关键
专知会员服务
22+阅读 · 2024年9月26日
【CMU博士论文】强化学习的泛化灵巧性,182页pdf
专知会员服务
42+阅读 · 2023年11月4日
专知会员服务
34+阅读 · 2021年10月11日
【NeurIPS 2020】一种端到端全自由度抓取姿态估计网络简介
专知会员服务
20+阅读 · 2020年10月18日
最新最全最详细中文版-《迁移学习简明手册》pdf分享
专知会员服务
102+阅读 · 2020年9月25日
浅谈主动学习(Active Learning)
凡人机器学习
32+阅读 · 2020年6月18日
百闻不如一码!手把手教你用Python搭一个Transformer
大数据文摘
18+阅读 · 2019年4月22日
多图带你读懂 Transformers 的工作原理
AI研习社
10+阅读 · 2019年3月18日
深度学习中Attention Mechanism详细介绍:原理、分类及应用
深度学习与NLP
10+阅读 · 2019年2月18日
跨越注意力:Cross-Attention
我爱读PAMI
172+阅读 · 2018年6月2日
【免费下载】迁移学习简明手册
新智元
21+阅读 · 2018年4月13日
【前沿】凌空手势识别综述
科技导报
12+阅读 · 2017年8月17日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
4+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
6+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
3+阅读 · 6月17日
相关资讯
浅谈主动学习(Active Learning)
凡人机器学习
32+阅读 · 2020年6月18日
百闻不如一码!手把手教你用Python搭一个Transformer
大数据文摘
18+阅读 · 2019年4月22日
多图带你读懂 Transformers 的工作原理
AI研习社
10+阅读 · 2019年3月18日
深度学习中Attention Mechanism详细介绍:原理、分类及应用
深度学习与NLP
10+阅读 · 2019年2月18日
跨越注意力:Cross-Attention
我爱读PAMI
172+阅读 · 2018年6月2日
【免费下载】迁移学习简明手册
新智元
21+阅读 · 2018年4月13日
【前沿】凌空手势识别综述
科技导报
12+阅读 · 2017年8月17日
相关基金
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员