Electroencephalography (EEG) foundation models have recently emerged as a promising paradigm for brain-computer interfaces (BCIs), aiming to learn transferable neural representations from large-scale heterogeneous recordings. Despite rapid progresses, there lacks fair and comprehensive comparisons of existing EEG foundation models, due to inconsistent pre-training objectives, preprocessing choices, and downstream evaluation protocols. This paper fills this gap. We first review 50 representative models and organize their design choices into a unified taxonomic framework including data standardization, model architectures, and self-supervised pre-training strategies. We then evaluate 12 open-source foundation models and competitive specialist baselines across 13 EEG datasets spanning nine BCI paradigms. Emphasizing real-world deployments, we consider both cross-subject generalization under a leave-one-subject-out protocol and rapid calibration under a within-subject few-shot setting. We further compare full-parameter fine-tuning with linear probing to assess the transferability of pre-trained representations, and examine the relationship between model scale and downstream performance. Our results indicate that: 1) linear probing is frequently insufficient; 2) specialist models trained from scratch remain competitive across many tasks; and, 3) larger foundation models do not necessarily yield better generalization performance under current data regimes and training practices.


翻译:脑电图(EEG)基础模型近年来已成为脑机接口(BCI)领域一个有前景的范式,其目标是从大规模异构记录中学习可迁移的神经表征。尽管进展迅速,但由于预训练目标、预处理选择以及下游评估协议的不一致,目前仍缺乏对现有EEG基础模型公平且全面的比较。本文填补了这一空白。我们首先回顾了50个代表性模型,并将其设计选择组织成一个统一的分类框架,包括数据标准化、模型架构和自监督预训练策略。随后,我们在涵盖九种BCI范式的13个EEG数据集上,评估了12个开源基础模型以及具有竞争力的专业基线模型。着眼于现实世界部署,我们同时考虑了留一受试者协议下的跨受试者泛化能力,以及受试者内少样本设置下的快速校准能力。我们进一步比较了全参数微调与线性探测,以评估预训练表征的可迁移性,并检验了模型规模与下游性能之间的关系。我们的结果表明:1)线性探测通常是不够的;2)从头开始训练的专业模型在许多任务上仍然具有竞争力;3)在当前的数据规模和训练实践下,更大的基础模型并不一定能带来更好的泛化性能。

0
下载
关闭预览

相关内容

基于 Transformer 的脑电解码综述询问 ChatGPT
专知会员服务
12+阅读 · 2025年7月6日
知识图谱基础模型的数学基础
专知会员服务
41+阅读 · 2025年1月12日
自适应脑机接口研究综述
专知会员服务
42+阅读 · 2022年11月27日
2022全球脑机接口技术与应用发展研究报告(附报告)
专知会员服务
50+阅读 · 2022年11月23日
掌握图神经网络GNN基本,看这篇文章就够了
新智元
164+阅读 · 2019年2月14日
图神经网络综述:模型与应用
PaperWeekly
198+阅读 · 2018年12月26日
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员