Electrocardiography (ECG) is a low-cost, widely used modality for diagnosing electrical abnormalities like atrial fibrillation by capturing the heart's electrical activity. However, it cannot directly measure cardiac morphological phenotypes, such as left ventricular ejection fraction (LVEF), which typically require echocardiography (Echo). Predicting these phenotypes from ECG would enable early, accessible health screening. Existing self-supervised methods suffer from a representational mismatch by aligning ECGs to single-view Echos, which only capture local, spatially restricted anatomical snapshots. To address this, we propose Echo2ECG, a multimodal self-supervised learning framework that enriches ECG representations with the heart's morphological structure captured in multi-view Echos. We evaluate Echo2ECG as an ECG feature extractor on two clinically relevant tasks that fundamentally require morphological information: (1) classification of structural cardiac phenotypes across three datasets, and (2) retrieval of Echo studies with similar morphological characteristics using ECG queries. Our extracted ECG representations consistently outperform those of state-of-the-art unimodal and multimodal baselines across both tasks, despite being 18x smaller than the largest baseline. These results demonstrate that Echo2ECG is a robust, powerful ECG feature extractor. Our code is accessible at https://github.com/michelleespranita/Echo2ECG.


翻译:心电图(ECG)是一种低成本、广泛应用的诊断方式,通过捕捉心脏电活动来检测房颤等电生理异常。然而,它无法直接测量左心室射血分数(LVEF)等心脏形态学表型,这些表型通常需要超声心动图(Echo)评估。从ECG预测这些表型有助于实现早期、便捷的健康筛查。现有自监督方法存在表征错配问题——它们将ECG与单视角超声心动图对齐,后者仅能捕获局部、空间受限的解剖快照。为解决此问题,我们提出Echo2ECG,一种多模态自监督学习框架,利用多视角超声心动图中捕获的心脏形态学结构丰富ECG表征。我们在两项根本上依赖形态学信息的临床任务中评估了Echo2ECG作为ECG特征提取器的性能:(1)三个数据集上的结构性心脏表型分类任务,以及(2)利用ECG查询检索具有相似形态学特征的超声心动图研究。我们的ECG表征在这两项任务中均持续优于最先进的单模态和多模态基线方法,尽管模型规模仅为最大基线方法的1/18。这些结果表明Echo2ECG是一种鲁棒且强大的ECG特征提取器。我们的代码访问地址为:https://github.com/michelleespranita/Echo2ECG。

0
下载
关闭预览

相关内容

【新书】Essential GraphRAG: 知识图谱增强的RAG
专知会员服务
35+阅读 · 2025年7月17日
基于 Transformer 的脑电解码综述询问 ChatGPT
专知会员服务
12+阅读 · 2025年7月6日
利用表示学习推动多机构电子健康记录数据研究
专知会员服务
16+阅读 · 2025年2月17日
图增强生成(GraphRAG)
专知会员服务
35+阅读 · 2025年1月4日
专知会员服务
21+阅读 · 2021年6月18日
【AAAI2023】用于图对比学习的谱特征增强
专知
20+阅读 · 2022年12月11日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
7+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
7+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
6+阅读 · 6月17日
Top
微信扫码咨询专知VIP会员