Accurate and timely seizure detection from Electroencephalography (EEG) is critical for clinical intervention, yet manual review of long-term recordings is labor-intensive. Recent efforts to encode EEG signals into large language models (LLMs) show promise in handling neural signals across diverse patients, but two significant challenges remain: (1) multi-channel heterogeneity, as seizure-relevant information varies substantially across EEG channels, and (2) computing inefficiency, as the EEG signals need to be encoded into a massive number of tokens for the prediction. To address these issues, we draw the EEG signal and propose the novel NeuroCanvas framework. Specifically, NeuroCanvas consists of two modules: (i) The Entropy-guided Channel Selector (ECS) selects the seizure-relevant channels input to LLM and (ii) the following Canvas of Neuron Signal (CNS) converts selected multi-channel heterogeneous EEG signals into structured visual representations. The ECS module alleviates the multi-channel heterogeneity issue, and the CNS uses compact visual tokens to represent the EEG signals that improve the computing efficiency. We evaluate NeuroCanvas across multiple seizure detection datasets, demonstrating a significant improvement of $20\%$ in F1 score and reductions of $88\%$ in inference latency. These results highlight NeuroCanvas as a scalable and effective solution for real-time and resource-efficient seizure detection in clinical practice.The code will be released at https://github.com/Yanchen30247/seizure_detect.


翻译:从脑电图(EEG)中实现准确、及时的癫痫检测对于临床干预至关重要,然而人工审阅长期记录十分耗时费力。近期将EEG信号编码到大型语言模型(LLM)中的研究在处理跨患者神经信号方面展现出潜力,但仍存在两大挑战:(1)多通道异质性——癫痫相关信息在不同EEG通道间差异显著;(2)计算效率低下——EEG信号需编码为海量标记才能进行预测。为解决这些问题,我们重新绘制EEG信号并提出了创新的NeuroCanvas框架。具体而言,NeuroCanvas包含两个模块:(i)熵引导通道选择器(ECS)筛选输入LLM的癫痫相关通道;(ii)后续的神经元信号画布(CNS)将选定的多通道异质EEG信号转换为结构化视觉表征。ECS模块缓解了多通道异质性问题,而CNS利用紧凑的视觉标记表示EEG信号,从而提升了计算效率。我们在多个癫痫检测数据集上评估NeuroCanvas,结果显示其F1分数显著提升$20\%$,推理延迟降低$88\%$。这些成果表明NeuroCanvas是临床实践中实时、资源高效癫痫检测的可扩展有效解决方案。代码将在https://github.com/Yanchen30247/seizure_detect发布。

0
下载
关闭预览

相关内容

基于 Transformer 的脑电解码综述询问 ChatGPT
专知会员服务
12+阅读 · 2025年7月6日
【ICML2024】揭示大脑中视觉-语言整合的多模态网络
专知会员服务
29+阅读 · 2024年6月21日
【NeurIPS 2020】通过双向传播的可扩展图神经网络
专知会员服务
30+阅读 · 2020年11月3日
【GNN】MPNN:消息传递神经网络
深度学习自然语言处理
17+阅读 · 2020年4月11日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2016年12月31日
国家自然科学基金
0+阅读 · 2016年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2016年12月31日
国家自然科学基金
0+阅读 · 2016年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员