Motivated by the Cybathlon 2024 competition, we developed a modular, online EEG-based brain-computer interface to address these challenges, increasing accessibility for individuals with severe mobility impairments. Our system uses three mental and motor imagery classes to control up to five control signals. The pipeline consists of four modules: data acquisition, preprocessing, classification, and the transfer function to map classification output to control dimensions. We use three diagonalized structured state-space sequence layers as a deep learning classifier. We developed a training game for our pilot where the mental tasks control the game during quick-time events. We implemented a mobile web application for live user feedback. The components were designed with a human-centred approach in collaboration with the tetraplegic user. We achieve up to 84% classification accuracy in offline analysis using an S4D-layer-based model. In a competition setting, our pilot successfully completed one task; we attribute the reduced performance in this context primarily to factors such as stress and the challenging competition environment. Following the Cybathlon, we further validated our pipeline with the original pilot and an additional participant, achieving a success rate of 73% in real-time gameplay. We also compare our model to the EEGEncoder, which is slower in training but has a higher performance. The S4D model outperforms the reference machine learning models. We provide insights into developing a framework for portable BCIs, bridging the gap between the laboratory and daily life. Specifically, our framework integrates modular design, real-time data processing, user-centred feedback, and low-cost hardware to deliver an accessible and adaptable BCI solution, addressing critical gaps in current BCI applications.


翻译:受2024年Cybathlon竞赛的推动,我们开发了一种模块化、在线的基于脑电图的脑机接口以应对这些挑战,旨在提高重度运动功能障碍个体的可及性。我们的系统使用三种心理和运动想象类别来控制多达五个控制信号。该处理流程包含四个模块:数据采集、预处理、分类以及将分类输出映射到控制维度的传递函数。我们采用三个对角化结构化状态空间序列层作为深度学习分类器。我们为操作员开发了一款训练游戏,在快速反应事件期间通过心理任务控制游戏。我们实现了一个移动网络应用程序以提供实时用户反馈。所有组件均采用以人为中心的设计方法,并与四肢瘫痪用户协作完成。在使用基于S4D层的模型进行离线分析时,我们实现了高达84%的分类准确率。在竞赛环境中,我们的操作员成功完成了一项任务;我们将此情境下性能下降的主要原因归咎于压力及充满挑战的竞赛环境等因素。Cybathlon结束后,我们使用原始操作员及另一名参与者进一步验证了我们的处理流程,在实时游戏过程中实现了73%的成功率。我们还将我们的模型与EEGEncoder进行了比较,后者训练速度较慢但性能更高。S4D模型的表现优于参考机器学习模型。我们为开发便携式脑机接口框架提供了见解,以弥合实验室环境与日常应用之间的鸿沟。具体而言,我们的框架整合了模块化设计、实时数据处理、以用户为中心的反馈机制以及低成本硬件,从而提供了一种可访问且适应性强的脑机接口解决方案,解决了当前脑机接口应用中的关键不足。

0
下载
关闭预览

相关内容

基于 Transformer 的脑电解码综述询问 ChatGPT
专知会员服务
12+阅读 · 2025年7月6日
【干货书】脑机接口:使用深度学习应用,323页pdf
专知会员服务
81+阅读 · 2023年2月13日
2022全球脑机接口技术与应用发展研究报告(附报告)
专知会员服务
50+阅读 · 2022年11月23日
ICML2020 图神经网络的预训练
图与推荐
12+阅读 · 2020年4月4日
基于关系网络的视觉建模:有望替代卷积神经网络
微软研究院AI头条
10+阅读 · 2019年7月12日
类脑计算的前沿论文,看我们推荐的这7篇
人工智能前沿讲习班
21+阅读 · 2019年1月7日
综述AI未来:神经科学启发的类脑计算
人工智能学家
11+阅读 · 2018年4月24日
【AAAI专题】论文分享:以生物可塑性为核心的类脑脉冲神经网络
中国科学院自动化研究所
15+阅读 · 2018年1月23日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
相关资讯
ICML2020 图神经网络的预训练
图与推荐
12+阅读 · 2020年4月4日
基于关系网络的视觉建模:有望替代卷积神经网络
微软研究院AI头条
10+阅读 · 2019年7月12日
类脑计算的前沿论文,看我们推荐的这7篇
人工智能前沿讲习班
21+阅读 · 2019年1月7日
综述AI未来:神经科学启发的类脑计算
人工智能学家
11+阅读 · 2018年4月24日
【AAAI专题】论文分享:以生物可塑性为核心的类脑脉冲神经网络
中国科学院自动化研究所
15+阅读 · 2018年1月23日
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员