Recent biosignal foundation models (FMs) have demonstrated promising performance across diverse clinical prediction tasks, yet systematic evaluation on long-duration multimodal data remains limited. We introduce SignalMC-MED, a benchmark for evaluating biosignal FMs on synchronized single-lead electrocardiogram (ECG) and photoplethysmogram (PPG) data. Derived from the MC-MED dataset, SignalMC-MED comprises 22,256 visits with 10-minute overlapping ECG and PPG signals, and includes 20 clinically relevant tasks spanning prediction of demographics, emergency department disposition, laboratory value regression, and detection of prior ICD-10 diagnoses. Using this benchmark, we perform a systematic evaluation of representative time-series and biosignal FMs across ECG-only, PPG-only, and ECG + PPG settings. We find that domain-specific biosignal FMs consistently outperform general time-series models, and that multimodal ECG + PPG fusion yields robust improvements over unimodal inputs. Moreover, using the full 10-minute signal consistently outperforms shorter segments, and larger model variants do not reliably outperform smaller ones. Hand-crafted ECG domain features provide a strong baseline and offer complementary value when combined with learned FM representations. Together, these results establish SignalMC-MED as a standardized benchmark and provide practical guidance for evaluating and deploying biosignal FMs.


翻译:近期提出的生物信号基础模型在多种临床预测任务中展现出良好性能,但针对长时程多模态数据的系统性评估仍显不足。本文介绍SignalMC-MED——一个基于同步单导联心电图与光电容积脉搏波数据的生物信号基础模型评估基准。该基准源自MC-MED数据集,包含22,256次就诊记录,每条记录包含10分钟重叠采集的心电图与光电容积脉搏波信号,并涵盖20项临床相关任务,涉及人口统计学预测、急诊处置分类、实验室数值回归及既有ICD-10诊断检测。基于此基准,我们对具有代表性的时间序列模型与生物信号基础模型进行了系统性评估,涵盖纯心电图、纯光电容积脉搏波以及心电图+光电容积脉搏波融合三种模态设置。研究发现:领域特定的生物信号基础模型始终优于通用时间序列模型;多模态心电图+光电容积脉搏波融合较单模态输入能带来稳健的性能提升;使用完整10分钟信号持续优于短时段片段;更大规模的模型变体并未稳定优于较小规模变体。手工构建的心电图领域特征提供了强劲的基线性能,且与习得的基础模型表征结合时能产生互补价值。这些成果共同确立了SignalMC-MED作为标准化基准的地位,并为生物信号基础模型的评估与部署提供了实践指导。

0
下载
关闭预览

相关内容

大型语言模型在生物信息学中的应用综述
专知会员服务
16+阅读 · 2025年3月15日
大规模语言模型在生物信息学中的应用
专知会员服务
18+阅读 · 2025年1月16日
多模态大规模语言模型基准的综述
专知会员服务
41+阅读 · 2024年8月25日
Gemini多模态医疗能力
专知会员服务
31+阅读 · 2024年5月12日
PubMed GPT : 用于生物医学文本的特定领域大型语言模型
专知会员服务
38+阅读 · 2022年12月19日
【AI与医学】多模态机器学习精准医疗健康
AAAI 2020 | 多模态基准指导的生成式多模态自动文摘
AI科技评论
16+阅读 · 2020年1月5日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
超越网格:作战环境对炮兵的影响
专知会员服务
2+阅读 · 5月31日
BES:让语言模型通过双向进化搜索自我改进
专知会员服务
6+阅读 · 5月30日
以色列-美国-伊朗战争中的无人机:关键要点
专知会员服务
7+阅读 · 5月30日
《Palantir任务保障性软件安全标准(MA-S2)》
专知会员服务
19+阅读 · 5月30日
基于声学的无人机检测技术综述
专知会员服务
11+阅读 · 5月30日
《当代混合战争分析框架:俄乌战争经验教训》
专知会员服务
10+阅读 · 5月30日
相关VIP内容
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员