The integration of augmented reality (AR) and EEG-based brain-computer interfaces (BCIs) offers a promising path for enabling intuitive control of robots for assistive purposes. However, existing AR brain-robot interface (BRI) systems are often constrained to task-specific structures, limiting their utility in real-world environments. We present an AR BRI designed for generalist robot arm manipulation that combines gaze-based object selection with motor imagery action control. Our system uses eye-tracking for intuitive object targeting and context-aware visual overlays ("Place" and "Use") to guide the user through tasks within a shared autonomy framework. We evaluated the interface through a feasibility study with 18 healthy participants performing three multi-step activities of daily living: drinking, using a drawer, and operating an oven. Our results demonstrate that this interaction paradigm enables effective sequential task execution and high user engagement, achieving a "Good" usability rating (SUS > 70). These findings support the feasibility of the proposed interaction paradigm for complex BCI-driven robotic assistance, and motivate future evaluation with the intended target population. Project website: https://ar-bri-manip.github.io/.


翻译:增强现实(AR)与基于脑电图(EEG)的脑-机接口(BCI)的融合为开发直观的辅助型机器人控制提供了有前景的路径。然而,现有AR脑-机器人接口(BRI)系统通常受限于特定任务结构,削弱了其在真实环境中的适用性。我们提出一种面向通用机器人臂操控的AR BRI,该接口将基于眼动的目标选择与基于运动想象的动作控制相结合。本系统通过眼动追踪实现直观的目标定位,并利用上下文感知的视觉覆盖层(“放置”与“使用”)在共享自主框架内引导用户完成任务。我们通过一项可行性研究评估该接口,该研究包含18名健康受试者执行三项多步日常活动:饮水、使用抽屉及操作烤箱。结果表明,该交互范式能够实现高效的顺序任务执行与高用户参与度,获得“良好”可用性评分(SUS > 70)。这些发现支持了所提议交互范式用于复杂BCI驱动型机器人辅助的可行性,并推动未来在目标人群中开展进一步评估。项目网站:https://ar-bri-manip.github.io/。

0
下载
关闭预览

相关内容

脑机接口研究综述
专知会员服务
78+阅读 · 2023年4月18日
【干货书】脑机接口:使用深度学习应用,323页pdf
专知会员服务
82+阅读 · 2023年2月13日
自适应脑机接口研究综述
专知会员服务
42+阅读 · 2022年11月27日
2022全球脑机接口技术与应用发展研究报告(附报告)
专知会员服务
50+阅读 · 2022年11月23日
使用强化学习训练机械臂完成人类任务
AI研习社
14+阅读 · 2019年3月23日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
5+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
7+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
4+阅读 · 6月17日
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员