Mobile manipulators in the home can enable people with cervical spinal cord injury (cSCI) to perform daily physical household tasks that they could not otherwise do themselves. However, paralysis in these users often limits access to traditional robot control interfaces such as joysticks or keyboards. In this work, we introduce and deploy the first system that enables a user with quadriplegia to control a mobile manipulator using intent from paralyzed parts of their body, using bimanual high-density electromyography (HDEMG). We develop a pair of custom, fabric-integrated HDEMG forearm sleeves, worn on both arms, that capture residual neuromotor activity from clinically paralyzed degrees of freedom and support real-time gesture-based robot control. We achieve high classification accuracies based on motor intent across (n = 2) users with cSCI, achieving up to 98.0%. Second, by integrating vision, language, and motion planning modules, we introduce a shared autonomy framework that supports robust and user-driven teleoperation, with particular benefits for navigation-intensive tasks in home environments. Finally, to demonstrate the system in the wild, we present a twelve-day in-home user study evaluating real-time use of the wearable EMG interface for daily robot control. Together, these system components enable effective robot control for performing activities of daily living (ADLs) and other household tasks in a real home environment.


翻译:家用移动操作机械臂能使颈脊髓损伤(cSCI)患者完成原本无法自理的日常家务。然而,此类用户的瘫痪状况往往限制其使用传统机器人控制界面(如操纵杆或键盘)。本研究首次部署了一套系统,使四肢瘫痪用户能通过双肢瘫痪部位的运动意图控制移动操作机械臂,该系统采用双手高密度肌电(HDEMG)技术。我们开发了一对定制织物集成式HDEMG前臂袖套(穿戴于双前臂),可捕捉临床瘫痪自由度上的残余神经肌肉活动,并支持基于手势的实时机器人控制。针对两名cSCI用户,我们实现了基于运动意图的高分类准确率(最高达98.0%)。其次,通过整合视觉、语言与运动规划模块,我们提出一套共享自主框架,支持稳健且由用户驱动的远程操作,尤其适用于家庭环境中的导航密集型任务。为验证系统在真实场景中的表现,我们开展了一项为期十二天的家庭用户研究,评估可穿戴EMG界面在每日机器人控制中的实时使用效果。上述系统组件共同实现了在真实家庭环境中执行日常生活活动(ADL)及其他家务的有效机器人控制。

0
下载
关闭预览

相关内容

基于脉冲神经网络的机器人智能控制研究进展
专知会员服务
25+阅读 · 2024年9月15日
使用强化学习训练机械臂完成人类任务
AI研习社
14+阅读 · 2019年3月23日
【机器人】机器人PID控制
产业智能官
10+阅读 · 2018年11月25日
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
VIP会员
最新内容
军事域更好使用人工智能的实用指南
专知会员服务
8+阅读 · 10月22日
《衡量语言模型中的作战规划能力》
专知会员服务
13+阅读 · 10月20日
Maven智能系统:帕兰提尔军事人工智能平台详解
专知会员服务
15+阅读 · 10月20日
《测试自动化框架在敏捷软件开发中的角色》
专知会员服务
8+阅读 · 10月20日
俄罗斯如何拦截乌克兰无人机与巡航导弹
专知会员服务
12+阅读 · 10月15日
《武器-目标分配问题:精确与近似求解算法》
专知会员服务
16+阅读 · 10月15日
现代电磁战:集成式系统簇时代如何实现频谱优势
相关VIP内容
基于脉冲神经网络的机器人智能控制研究进展
专知会员服务
25+阅读 · 2024年9月15日
Top
微信扫码咨询专知VIP会员