Mobile manipulators in the home can enable people with cervical spinal cord injury (cSCI) to perform daily physical household tasks that they could not otherwise do themselves. However, paralysis in these users often limits access to traditional robot control interfaces such as joysticks or keyboards. In this work, we introduce and deploy the first system that enables a user with quadriplegia to control a mobile manipulator using intent from paralyzed parts of their body, using bimanual high-density electromyography (HDEMG). We develop a pair of custom, fabric-integrated HDEMG forearm sleeves, worn on both arms, that capture residual neuromotor activity from clinically paralyzed degrees of freedom and support real-time gesture-based robot control. We achieve high classification accuracies based on motor intent across (n = 2) users with cSCI, achieving up to 98.0%. Second, by integrating vision, language, and motion planning modules, we introduce a shared autonomy framework that supports robust and user-driven teleoperation, with particular benefits for navigation-intensive tasks in home environments. Finally, to demonstrate the system in the wild, we present a twelve-day in-home user study evaluating real-time use of the wearable EMG interface for daily robot control. Together, these system components enable effective robot control for performing activities of daily living (ADLs) and other household tasks in a real home environment.


翻译:家用移动操作机械臂能使颈脊髓损伤(cSCI)患者完成原本无法自理的日常家务。然而,此类用户的瘫痪状况往往限制其使用传统机器人控制界面(如操纵杆或键盘)。本研究首次部署了一套系统,使四肢瘫痪用户能通过双肢瘫痪部位的运动意图控制移动操作机械臂,该系统采用双手高密度肌电(HDEMG)技术。我们开发了一对定制织物集成式HDEMG前臂袖套(穿戴于双前臂),可捕捉临床瘫痪自由度上的残余神经肌肉活动,并支持基于手势的实时机器人控制。针对两名cSCI用户,我们实现了基于运动意图的高分类准确率(最高达98.0%)。其次,通过整合视觉、语言与运动规划模块,我们提出一套共享自主框架,支持稳健且由用户驱动的远程操作,尤其适用于家庭环境中的导航密集型任务。为验证系统在真实场景中的表现,我们开展了一项为期十二天的家庭用户研究,评估可穿戴EMG界面在每日机器人控制中的实时使用效果。上述系统组件共同实现了在真实家庭环境中执行日常生活活动(ADL)及其他家务的有效机器人控制。

0
下载
关闭预览

相关内容

基于脉冲神经网络的机器人智能控制研究进展
专知会员服务
25+阅读 · 2024年9月15日
使用强化学习训练机械臂完成人类任务
AI研习社
14+阅读 · 2019年3月23日
【机器人】机器人PID控制
产业智能官
10+阅读 · 2018年11月25日
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
VIP会员
最新内容
印度精确打击与指挥架构的断层
专知会员服务
4+阅读 · 7月20日
美空军AI完成F-16战斗机自主空战历史性试飞
专知会员服务
6+阅读 · 7月20日
深入Project Maven:为何人工智能在战场上依然失灵
锻造未来士兵:外骨骼、基因工程与赛博格
专知会员服务
7+阅读 · 7月19日
《无人机蜂群通信技术研究》50页
专知会员服务
10+阅读 · 7月19日
相关VIP内容
基于脉冲神经网络的机器人智能控制研究进展
专知会员服务
25+阅读 · 2024年9月15日
Top
微信扫码咨询专知VIP会员