Mobile manipulators broaden the operational envelope for robot manipulation. However, the whole-body teleoperation of such robots remains a problem: operators must coordinate a wheeled base and two arms while reasoning about obstacles and contact. Existing interfaces are predominantly hand-centric (e.g., VR controllers and joysticks), leaving foot-operated channels underexplored for continuous base control. We present TriPilot-FF, an open-source whole-body teleoperation system for a custom bimanual mobile manipulator that introduces a foot-operated pedal with lidar-driven pedal haptics, coupled with upper-body bimanual leader-follower teleoperation. Using only a low-cost base-mounted lidar, TriPilot-FF renders a resistive pedal cue from proximity-to-obstacle signals in the commanded direction, shaping operator commands toward collision-averse behaviour without an explicit collision-avoidance controller. The system also supports arm-side force reflection for contact awareness and provides real-time force and visual guidance of bimanual manipulability to prompt mobile base repositioning, thereby improving reach. We demonstrate the capability of TriPilot-FF to effectively ``co-pilot'' the human operator over long time-horizons and tasks requiring precise mobile base movement and coordination. Finally, we incorporate teleoperation feedback signals into an Action Chunking with Transformers (ACT) policy and demonstrate improved performance when the additional information is available. We release the pedal device design, full software stack, and conduct extensive real-world evaluations on a bimanual wheeled platform. The project page of TriPilot-FF is http://bit.ly/46H3ZJT.


翻译:移动式机械臂拓宽了机器人操作的作业范围。然而,此类机器人的全身遥操作仍是一个难题:操作者必须在协调轮式底盘和双臂的同时,对障碍物和接触进行推理。现有接口主要集中于手部操作(例如VR控制器和操纵杆),使得用于连续底盘控制的脚部操作通道未被充分探索。我们提出了TriPilot-FF,这是一个用于定制双臂移动式机械臂的开源全身遥操作系统,它引入了一个配备激光雷达驱动的踏板触觉反馈的脚控踏板,并与上半身双臂主从式遥操作相结合。仅使用一个低成本的底盘安装激光雷达,TriPilot-FF就能根据指令方向上的接近障碍物信号渲染阻力踏板提示,从而引导操作者指令形成避碰行为,而无需显式的避碰控制器。该系统还支持臂侧力反射以增强接触感知,并提供实时力与视觉引导的双臂可操作度信息,以提示移动底盘重新定位,从而改善可达性。我们展示了TriPilot-FF能够在长时间跨度和需要精确移动底盘运动与协调的任务中,有效地“协同驾驶”人类操作者。最后,我们将遥操作反馈信号整合到基于Transformer的动作分块(ACT)策略中,并证明了在获得额外信息时性能得到提升。我们发布了踏板设备设计、完整的软件栈,并在一个双臂轮式平台上进行了广泛的真实世界评估。TriPilot-FF的项目页面是 http://bit.ly/46H3ZJT。

0
下载
关闭预览

相关内容

【斯坦福博士论文】移动操作机器人的学习系统构建研究
专知会员服务
14+阅读 · 2025年11月14日
面向具身操作的视觉-语言-动作模型综述
专知会员服务
28+阅读 · 2025年8月23日
《通信受限环境中机器人网络的高效任务规划》172页
专知会员服务
74+阅读 · 2024年4月15日
【机器人】机器人PID控制
产业智能官
10+阅读 · 2018年11月25日
无人机飞行控制方法概述
无人机
12+阅读 · 2017年10月7日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
VIP会员
相关VIP内容
【斯坦福博士论文】移动操作机器人的学习系统构建研究
专知会员服务
14+阅读 · 2025年11月14日
面向具身操作的视觉-语言-动作模型综述
专知会员服务
28+阅读 · 2025年8月23日
《通信受限环境中机器人网络的高效任务规划》172页
专知会员服务
74+阅读 · 2024年4月15日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员