Human demonstrations collected by wearable devices (e.g., tactile gloves) provide fast and dexterous supervision for policy learning, and are guided by rich, natural tactile feedback. However, a key challenge is how to transfer human-collected tactile signals to robots despite the differences in sensing modalities and embodiment. Existing human-to-robot (H2R) approaches that incorporate touch often assume identical tactile sensors, require paired data, and involve little to no embodiment gap between human demonstrator and the robots, limiting scalability and generality. We propose TactAlign, a cross-embodiment tactile alignment method that transfers human-collected tactile signals to a robot with different embodiment. TactAlign transforms human and robot tactile observations into a shared latent representation using a rectified flow, without paired datasets, manual labels, or privileged information. Our method enables low-cost latent transport guided by hand-object interaction-derived pseudo-pairs. We demonstrate that TactAlign improves H2R policy transfer across multiple contact-rich tasks (pivoting, insertion, lid closing), generalizes to unseen objects and tasks with human data (less than 5 minutes), and enables zero-shot H2R transfer on a highly dexterous tasks (light bulb screwing).


翻译:通过可穿戴设备(如触觉手套)采集的人类演示为策略学习提供了快速灵巧的监督,并受到丰富自然的触觉反馈引导。然而,一个关键挑战在于如何将人类采集的触觉信号迁移至机器人,尽管两者在感知模态和具身形态上存在差异。现有结合触觉的人机迁移方法通常假设使用相同的触觉传感器、需要配对数据,且人类演示者与机器人之间的具身差异极小甚至不存在,这限制了方法的可扩展性与通用性。我们提出TactAlign,一种跨具身的触觉对齐方法,能够将人类采集的触觉信号迁移至具有不同具身形态的机器人。TactAlign通过修正流将人类和机器人的触觉观测映射到共享的潜在表征空间,且无需配对数据集、人工标注或特权信息。我们的方法能够以手-物交互衍生的伪配对为指导,实现低成本的潜在迁移。实验表明,TactAlign在多种接触密集型任务(旋转、插入、盖合)中提升了人机策略迁移效果,能够利用少量人类数据(少于5分钟)泛化至未见过的物体和任务,并在高度灵巧的任务(灯泡旋拧)上实现了零样本人机迁移。

0
下载
关闭预览

相关内容

作战战术决策中的人机对比
专知会员服务
99+阅读 · 2023年10月17日
面向虚实融合的人机交互
专知会员服务
71+阅读 · 2023年6月25日
连接人类与机器:士兵们可利用思维控制防御系统
专知会员服务
25+阅读 · 2022年4月24日
最新人机对话系统简略综述
专知
26+阅读 · 2018年3月10日
报名 | 让机器读懂你的意图——人体姿态估计入门
人工智能头条
10+阅读 · 2017年9月19日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2013年12月31日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2013年12月31日
Top
微信扫码咨询专知VIP会员