Paramagnetic rim lesions (Rim$^+$) identified on susceptibility-sensitive MRI have recently emerged as a specific biomarker of chronic active inflammation in Multiple Sclerosis (MS) and are associated with long-term disability progression. However, susceptibility imaging and expert interpretation remain limited to specialized centers, visual assessment is time-consuming and variable, and the low prevalence of Rim$^+$ lesions poses severe class imbalance challenges for automated analysis. We propose a 3D multimodal deep learning framework for lesion-level Rim$^+$/Rim$^-$ classification from Quantitative Susceptibility Mapping (QSM) and FLAIR MRI. The architecture explicitly models modality asymmetry by treating QSM as the primary susceptibility-driven signal and conditioning it with FLAIR-derived structural context. To improve robustness under limited data, we employ self-supervised multimodal pretraining followed by supervised fine-tuning with contrastive regularization. The method was evaluated on a clinically acquired cohort of 88 people with MS with expert lesion annotations as reference standard. Results highlight improved performance compared to prior architectures, supporting the effectiveness of asymmetric multimodal modeling for automated chronic active lesion identification.


翻译:顺磁性边缘病灶(Rim$^+$)作为磁敏感加权MRI上识别的特异性生物标志物,近期被证实是多发性硬化慢性活动性炎症的特异性指标,并与长期残疾进展密切相关。然而,磁敏感成像技术与专家解读仍局限于专业中心,人工视觉评估耗时且存在主观差异,加之Rim$^+$病灶的低患病率给自动化分析带来了严重的类别不平衡挑战。我们提出了一种基于3D多模态深度学习的框架,用于从定量磁敏感成像和FLAIR MRI中实现病灶级Rim$^+$/Rim$^-$分类。该架构通过将QSM作为主磁敏感驱动信号并以FLAIR衍生的结构特征进行条件调制,显式建模了模态不对称性。为提升有限数据下的鲁棒性,我们采用自监督多模态预训练,随后结合对比正则化进行监督微调。该方法在临床采集的88名MS患者队列中进行了评估,以专家病灶注释为参考标准。结果表明,与既往架构相比性能显著提升,验证了不对称多模态建模在慢性活动性病灶自动识别中的有效性。

0
下载
关闭预览

相关内容

视觉Transformer预训练模型的胸腔X线影像多标签分类
专知会员服务
14+阅读 · 2022年7月29日
基于深度学习的医学图像半监督分割
CVer
14+阅读 · 2020年9月24日
病理图像的全景分割
人工智能前沿讲习班
16+阅读 · 2019年6月1日
【AAAI专题】论文分享:以生物可塑性为核心的类脑脉冲神经网络
中国科学院自动化研究所
15+阅读 · 2018年1月23日
基于深度学习的肿瘤图像分割研究取得进展
中科院之声
17+阅读 · 2017年9月17日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
6+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
7+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
4+阅读 · 6月17日
相关VIP内容
视觉Transformer预训练模型的胸腔X线影像多标签分类
专知会员服务
14+阅读 · 2022年7月29日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员