Retargeting human motion to robot poses is a practical approach for teleoperating bimanual humanoid robot arms, but existing methods can be suboptimal and slow, often causing undesirable motion or latency. This is due to optimizing to match robot end-effector to human hand position and orientation, which can also limit the robot's workspace to that of the human. Instead, this paper reframes retargeting as an orientation alignment problem, enabling a closed-form, geometric solution algorithm with an optimality guarantee. The key idea is to align a robot arm to a human's upper and lower arm orientations, as identified from shoulder, elbow, and wrist (SEW) keypoints; hence, the method is called SEW-Mimic. The method has fast inference (3 kHz) on standard commercial CPUs, leaving computational overhead for downstream applications; an example in this paper is a safety filter to avoid bimanual self-collision. The method suits most 7-degree-of-freedom robot arms and humanoids, and is agnostic to input keypoint source. Experiments show that SEW-Mimic outperforms other retargeting methods in computation time and accuracy. A pilot user study suggests that the method improves teleoperation task success. Preliminary analysis indicates that data collected with SEW-Mimic improves policy learning due to being smoother. SEW-Mimic is also shown to be a drop-in way to accelerate full-body humanoid retargeting. Finally, hardware demonstrations illustrate SEW-Mimic's practicality. The results emphasize the utility of SEW-Mimic as a fundamental building block for bimanual robot manipulation and humanoid robot teleoperation.


翻译:将人体运动重定向至机器人姿态是实现双手机器人臂遥操作的一种实用方法,但现有方法可能不够优化且速度较慢,常导致不期望的运动或延迟。这是由于优化过程旨在匹配机器人末端执行器与人类手部的位置和朝向,这也可能将机器人的工作空间限制在人类范围内。相反,本文重新将重定向问题构建为朝向对齐问题,从而提出了一种具有最优性保证的闭式几何求解算法。其核心思想是将机器人手臂与人类上臂和前臂的朝向进行对齐,这些朝向由肩部、肘部和腕部(SEW)关键点识别得出;因此,该方法被称为SEW-Mimic。该方法在标准商用CPU上具有快速推理能力(3 kHz),为下游应用留出了计算余量;本文中的一个示例是用于避免双臂自碰撞的安全过滤器。该方法适用于大多数7自由度机器人手臂和人形机器人,且对输入关键点来源无特定要求。实验表明,SEW-Mimic在计算时间和准确性上优于其他重定向方法。一项初步用户研究表明,该方法提高了遥操作任务的成功率。初步分析表明,使用SEW-Mimic收集的数据因其更平滑的特性而改善了策略学习。SEW-Mimic也被证明是一种可即插即用加速全身人形机器人重定向的方法。最后,硬件演示展示了SEW-Mimic的实用性。这些结果强调了SEW-Mimic作为双手机器人操作和人形机器人遥操作基础构建模块的效用。

0
下载
关闭预览

相关内容

AI大模型驱动的具身智能人形机器人技术与展望
专知会员服务
24+阅读 · 2025年5月26日
灵巧手:人形机器人应用落地的关键
专知会员服务
22+阅读 · 2024年9月26日
人形机器人深度:产业化渐行渐近,未来前景广阔
专知会员服务
39+阅读 · 2024年7月17日
人形机器人发展与展望
专知会员服务
49+阅读 · 2023年9月6日
人形机器人行业深度:具身智能,迈向广阔蓝海市场
专知会员服务
51+阅读 · 2023年7月2日
IROS2020|机器人自主探索与建图算法,代码已开源!
中国图象图形学报
34+阅读 · 2020年9月8日
使用强化学习训练机械臂完成人类任务
AI研习社
14+阅读 · 2019年3月23日
多图带你读懂 Transformers 的工作原理
AI研习社
10+阅读 · 2019年3月18日
SkeletonNet:完整的人体三维位姿重建方法
计算机视觉life
21+阅读 · 2019年1月21日
【机器人】机器人PID控制
产业智能官
10+阅读 · 2018年11月25日
剖析腾讯知文,智能问答机器人路在何方?
AI前线
12+阅读 · 2018年11月3日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
VIP会员
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员