Electroencephalography (EEG) foundation models have recently emerged as a promising paradigm for brain-computer interfaces (BCIs), aiming to learn transferable neural representations from large-scale heterogeneous recordings. Despite rapid progresses, there lacks fair and comprehensive comparisons of existing EEG foundation models, due to inconsistent pre-training objectives, preprocessing choices, and downstream evaluation protocols. This paper fills this gap. We first review 50 representative models and organize their design choices into a unified taxonomic framework including data standardization, model architectures, and self-supervised pre-training strategies. We then evaluate 12 open-source foundation models and competitive specialist baselines across 13 EEG datasets spanning nine BCI paradigms. Emphasizing real-world deployments, we consider both cross-subject generalization under a leave-one-subject-out protocol and rapid calibration under a within-subject few-shot setting. We further compare full-parameter fine-tuning with linear probing to assess the transferability of pre-trained representations, and examine the relationship between model scale and downstream performance. Our results indicate that: 1) linear probing is frequently insufficient; 2) specialist models trained from scratch remain competitive across many tasks; and, 3) larger foundation models do not necessarily yield better generalization performance under current data regimes and training practices.


翻译:脑电图(EEG)基础模型作为脑机接口(BCI)领域一种新兴的范式,旨在从大规模异质性记录中学习可迁移的神经表征。尽管进展迅速,但由于预训练目标、预处理选择及下游评估协议的不一致,现有脑电基础模型尚缺乏公平而全面的比较。本文填补了这一空白。我们首先回顾了50个代表性模型,并将其设计选择归纳为一个统一的分类框架,涵盖数据标准化、模型架构及自监督预训练策略。随后,我们在涵盖九种BCI范式的13个脑电数据集上,评估了12个开源基础模型及具有竞争力的专业基线模型。着眼于实际部署,我们同时考虑了留一受试者外协议下的跨受试者泛化能力,以及受试者内少样本设置下的快速校准能力。我们进一步比较了全参数微调与线性探测,以评估预训练表征的可迁移性,并探究了模型规模与下游性能之间的关系。我们的结果表明:1)线性探测往往不足;2)从头训练的专业模型在许多任务中仍具竞争力;3)在当前数据规模与训练实践下,更大的基础模型未必带来更好的泛化性能。

0
下载
关闭预览

相关内容

基于 Transformer 的脑电解码综述询问 ChatGPT
专知会员服务
12+阅读 · 2025年7月6日
知识图谱基础模型的数学基础
专知会员服务
41+阅读 · 2025年1月12日
自适应脑机接口研究综述
专知会员服务
42+阅读 · 2022年11月27日
2022全球脑机接口技术与应用发展研究报告(附报告)
专知会员服务
50+阅读 · 2022年11月23日
 100页!IEEE标准协会《脑机接口神经技术标准路线图》
专知会员服务
35+阅读 · 2022年2月13日
Attention!注意力机制模型最新综述
中国人工智能学会
18+阅读 · 2019年4月8日
掌握图神经网络GNN基本,看这篇文章就够了
新智元
164+阅读 · 2019年2月14日
类脑计算的前沿论文,看我们推荐的这7篇
人工智能前沿讲习班
21+阅读 · 2019年1月7日
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员