Teleoperation is a key approach for collecting high-quality, physically consistent demonstrations for robotic manipulation. However, teleoperation for dexterous manipulation remains constrained by: (i) inaccurate hand-robot motion mapping, which limits teleoperated dexterity, and (ii) limited tactile feedback that forces vision-dominated interaction and hinders perception of contact geometry and force variation. To address these challenges, we present TAG, a low-cost glove system that integrates precise hand motion capture with high-resolution tactile feedback, enabling effective tactile-in-the-loop dexterous teleoperation. For motion capture, TAG employs a non-contact magnetic sensing design that provides drift-free, electromagnetically robust 21-DoF joint tracking with joint angle estimation errors below 1 degree. Meanwhile, to restore tactile sensation, TAG equips each finger with a 32-actuator tactile array within a compact 2 cm^2 module, allowing operators to directly feel physical interactions at the robot end-effector through spatial activation patterns. Through real-world teleoperation experiments and user studies, we show that TAG enables reliable real-time perception of contact geometry and dynamic force, improves success rates in contact-rich teleoperation tasks, and increases the reliability of demonstration data collection for learning-based manipulation.


翻译:遥操作是收集机器人操作中高质量、物理一致演示的关键方法。然而,灵巧操作的遥操作仍受以下限制:(i)手-机器人运动映射不准确限制了遥操作的灵巧性,(ii)有限的触觉反馈迫使交互以视觉为主导,并阻碍了对接触几何形状和力变化的感知。为应对这些挑战,我们提出TAG,一种低成本手套系统,它集成了精确的手部运动捕捉与高分辨率触觉反馈,实现了有效的触觉在环灵巧遥操作。在运动捕捉方面,TAG采用非接触式磁传感设计,提供无漂移、电磁鲁棒的21自由度关节跟踪,关节角度估计误差低于1度。同时,为恢复触觉感知,TAG在每根手指上配备一个2平方厘米紧凑模块内的32执行器触觉阵列,使操作者能够通过空间激活模式直接感受机器人末端执行器的物理交互。通过真实世界的遥操作实验和用户研究,我们展示TAG能够可靠地实时感知接触几何形状和动态力,提高接触密集型遥操作任务的成功率,并增加基于学习的操作中演示数据收集的可靠性。

0
下载
关闭预览

相关内容

生成式人工智能在机器人操作中的应用:综述
专知会员服务
29+阅读 · 2025年3月6日
灵巧手:人形机器人应用落地的关键
专知会员服务
22+阅读 · 2024年9月26日
人形机器人产业系列报告,67页ppt
专知会员服务
51+阅读 · 2024年1月2日
【伯克利博士论文】机器人机械搜索的操作与感知策略
专知会员服务
16+阅读 · 2022年6月4日
【机器人】机器人PID控制
产业智能官
10+阅读 · 2018年11月25日
【紫冬分享】移动机器人视觉里程计综述
中国科学院自动化研究所
12+阅读 · 2018年10月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
VIP会员
最新内容
美国从乌克兰无人机战争中学习经验
专知会员服务
1+阅读 · 今天15:03
ICML 2026 | 面向视觉语言模型的语义鲁棒性认证
专知会员服务
0+阅读 · 今天14:31
学习数据的几何:形状空间分析数学综述
专知会员服务
8+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
10+阅读 · 6月17日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员