X-ray angiography is the gold standard imaging modality for cardiovascular diseases. However, current deep learning approaches for X-ray angiogram analysis are severely constrained by the scarcity of annotated data. While large-scale self-supervised learning (SSL) has emerged as a promising solution, its potential in this domain remains largely unexplored, primarily due to the lack of effective SSL frameworks and large-scale datasets. To bridge this gap, we introduce a vascular anatomy-aware masked image modeling (VasoMIM) framework that explicitly integrates domain-specific anatomical knowledge. Specifically, VasoMIM comprises two key designs: an anatomy-guided masking strategy and an anatomical consistency loss. The former strategically masks vessel-containing patches to compel the model to learn robust vascular semantics, while the latter preserves structural consistency of vessels between original and reconstructed images, enhancing the discriminability of the learned representations. In conjunction with VasoMIM, we curate XA-170K, the largest X-ray angiogram pre-training dataset to date. We validate VasoMIM on four downstream tasks across six datasets, where it demonstrates superior transferability and achieves state-of-the-art performance compared to existing methods. These findings highlight the significant potential of VasoMIM as a foundation model for advancing a wide range of X-ray angiogram analysis tasks. VasoMIM and XA-170K will be available at https://github.com/Dxhuang-CASIA/XA-SSL.


翻译:X射线血管造影是心血管疾病诊断的金标准成像方式。然而,当前用于X射线血管造影分析的深度学习方法严重受限于标注数据的稀缺性。尽管大规模自监督学习已成为一种有前景的解决方案,但其在该领域的潜力仍未得到充分探索,主要原因是缺乏有效的自监督学习框架和大规模数据集。为弥补这一空白,我们提出了血管解剖感知的掩码图像建模框架,该框架显式整合了领域特定的解剖学知识。具体而言,VasoMIM包含两个关键设计:解剖引导的掩码策略和解剖一致性损失函数。前者策略性地掩码包含血管的图像块,迫使模型学习鲁棒的血管语义特征;后者则保持原始图像与重建图像之间血管结构的一致性,从而增强所学表征的判别能力。结合VasoMIM,我们构建了XA-170K——迄今为止规模最大的X射线血管造影预训练数据集。我们在六个数据集的四个下游任务上验证了VasoMIM,结果表明其具有卓越的迁移能力,与现有方法相比达到了最先进的性能。这些发现凸显了VasoMIM作为基础模型在推进广泛X射线血管造影分析任务方面的巨大潜力。VasoMIM与XA-170K将在https://github.com/Dxhuang-CASIA/XA-SSL公开提供。

0
下载
关闭预览

相关内容

《视觉Transformers自监督学习机制综述》
专知会员服务
29+阅读 · 2024年9月2日
视觉Transformer预训练模型的胸腔X线影像多标签分类
专知会员服务
14+阅读 · 2022年7月29日
【NeurIPS 2020】对比学习全局和局部医学图像分割特征
专知会员服务
44+阅读 · 2020年10月20日
自监督学习推动医学图像分类发展
TensorFlow
17+阅读 · 2021年12月6日
对比自监督学习
深度学习自然语言处理
35+阅读 · 2020年7月15日
深度学习与医学图像分析
人工智能前沿讲习班
40+阅读 · 2019年6月8日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员