Decoding speech-related information from non-invasive MEG is a key step toward scalable brain-computer interfaces. We present compact Conformer-based decoders on the LibriBrain 2025 PNPL benchmark for two core tasks: Speech Detection and Phoneme Classification. Our approach adapts a compact Conformer to raw 306-channel MEG signals, with a lightweight convolutional projection layer and task-specific heads. For Speech Detection, a MEG-oriented SpecAugment provided a first exploration of MEG-specific augmentation. For Phoneme Classification, we used inverse-square-root class weighting and a dynamic grouping loader to handle 100-sample averaged examples. In addition, a simple instance-level normalization proved critical to mitigate distribution shifts on the holdout split. Using the official Standard track splits and F1-macro for model selection, our best systems achieved 88.9% (Speech) and 65.8% (Phoneme) on the leaderboard, winning the Phoneme Classification Standard track. For further implementation details, the technical documentation, source code, and checkpoints are available at https://github.com/neural2speech/libribrain-experiments.


翻译:从非侵入性脑磁图(MEG)中解码语音相关信息是迈向可扩展脑机接口的关键一步。我们在LibriBrain 2025 PNPL基准上提出了基于紧凑型Conformer的解码器,用于两项核心任务:语音检测与音素分类。我们的方法将紧凑型Conformer适配于原始306通道MEG信号,采用轻量级卷积投影层和任务专用头部。对于语音检测任务,一种面向MEG的SpecAugment首次探索了MEG专用数据增强技术。对于音素分类任务,我们采用逆平方根类别加权和动态分组加载器来处理100样本平均后的示例。此外,简单的实例级归一化被证明对缓解留出数据集上的分布偏移至关重要。使用官方标准赛道划分和F1-macro进行模型选择,我们的最佳系统在排行榜上取得了88.9%(语音检测)和65.8%(音素分类)的成绩,赢得了音素分类标准赛道。更多实现细节、技术文档、源代码及模型检查点可通过https://github.com/neural2speech/libribrain-experiments获取。

0
下载
关闭预览

相关内容

基于 Transformer 的脑电解码综述询问 ChatGPT
专知会员服务
12+阅读 · 2025年7月6日
Transformer文本分类代码
专知会员服务
118+阅读 · 2020年2月3日
使用 FastAI 和即时频率变换进行音频分类
AI研习社
11+阅读 · 2019年5月9日
【干货】深入理解变分自编码器
专知
21+阅读 · 2018年3月22日
国家自然科学基金
0+阅读 · 2016年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
VIP会员
相关VIP内容
基于 Transformer 的脑电解码综述询问 ChatGPT
专知会员服务
12+阅读 · 2025年7月6日
Transformer文本分类代码
专知会员服务
118+阅读 · 2020年2月3日
相关基金
国家自然科学基金
0+阅读 · 2016年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员