Human demonstrations collected by wearable devices (e.g., tactile gloves) provide fast and dexterous supervision for policy learning, and are guided by rich, natural tactile feedback. However, a key challenge is how to transfer human-collected tactile signals to robots despite the differences in sensing modalities and embodiment. Existing human-to-robot (H2R) approaches that incorporate touch often assume identical tactile sensors, require paired data, and involve little to no embodiment gap between human demonstrator and the robots, limiting scalability and generality. We propose TactAlign, a cross-embodiment tactile alignment method that transfers human-collected tactile signals to a robot with different embodiment. TactAlign transforms human and robot tactile observations into a shared latent representation using a rectified flow, without paired datasets, manual labels, or privileged information. Our method enables low-cost latent transport guided by hand-object interaction-derived pseudo-pairs. We demonstrate that TactAlign improves H2R policy transfer across multiple contact-rich tasks (pivoting, insertion, lid closing), generalizes to unseen objects and tasks with human data (less than 5 minutes), and enables zero-shot H2R transfer on a highly dexterous tasks (light bulb screwing).


翻译:通过可穿戴设备(如触觉手套)采集的人类演示为策略学习提供了快速灵巧的监督,并受到丰富自然的触觉反馈引导。然而,一个关键挑战在于如何将人类采集的触觉信号迁移至机器人,尽管两者在感知模态和具身形态上存在差异。现有结合触觉的人机迁移方法通常假设使用相同的触觉传感器、需要配对数据,且人类演示者与机器人之间的具身差异极小甚至不存在,这限制了方法的可扩展性与通用性。我们提出TactAlign,一种跨具身的触觉对齐方法,能够将人类采集的触觉信号迁移至具有不同具身形态的机器人。TactAlign通过修正流将人类和机器人的触觉观测映射到共享的潜在表征空间,且无需配对数据集、人工标注或特权信息。我们的方法能够以手-物交互衍生的伪配对为指导,实现低成本的潜在迁移。实验表明,TactAlign在多种接触密集型任务(旋转、插入、盖合)中提升了人机策略迁移效果,能够利用少量人类数据(少于5分钟)泛化至未见过的物体和任务,并在高度灵巧的任务(灯泡旋拧)上实现了零样本人机迁移。

0
下载
关闭预览

相关内容

作战战术决策中的人机对比
专知会员服务
101+阅读 · 2023年10月17日
面向虚实融合的人机交互
专知会员服务
72+阅读 · 2023年6月25日
连接人类与机器:士兵们可利用思维控制防御系统
专知会员服务
26+阅读 · 2022年4月24日
最新人机对话系统简略综述
专知
26+阅读 · 2018年3月10日
报名 | 让机器读懂你的意图——人体姿态估计入门
人工智能头条
10+阅读 · 2017年9月19日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2013年12月31日
VIP会员
最新内容
美海军陆战队将三型无人机整合入统一战场网络
专知会员服务
2+阅读 · 今天9:39
《无人机蜂群:释放人类-蜂群编队的潜能》
专知会员服务
3+阅读 · 今天9:12
《战略战术化:一项综合性述评》
专知会员服务
2+阅读 · 今天9:08
美陆军-工业界协同推进反无人机系统技术发展
专知会员服务
1+阅读 · 今天8:46
《跨域指挥背景下的领导力发展》最新报告
专知会员服务
1+阅读 · 今天8:40
俄乌无人机战争的六大启示
专知会员服务
10+阅读 · 8月3日
《无人机空中监控:通信实验洞察》
专知会员服务
8+阅读 · 8月3日
从采集到决策:美军视角下的战术情报范式重构
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2013年12月31日
Top
微信扫码咨询专知VIP会员