Glioma grading and survival prediction require the integration of heterogeneous information collected at different spatial and biological scales. Histopathology describes tissue morphology, mRNA expression captures molecular activity, and magnetic resonance imaging provides a non-invasive view of tumor extent and radiological heterogeneity. Existing glioma prognosis models often combine only two of these sources, while their alignment objectives remain mostly pairwise. This paper introduces GLORIA, a novel trimodal framework for GLioma Omics - Radiology - hIstopathology Alignment. GLORIA processes whole-slide image regions, gene-expression profiles, and 3D MRI volumes through modality-specific encoders, projects them into a shared latent space, and aligns them with a Gramian contrastive loss that measures the volume spanned by the three modality embeddings. The aligned representations are fused through a cross-modal gating module and optimized jointly for three-class glioma grading and overall survival prediction. We evaluate GLORIA on a matched TCGA-GBM/LGG and BraTS21 cohort, comprising 132 patients with all three modalities. On the shared trimodal test set, GLORIA improves over the bimodal WSI-mRNA baseline in all the metrics considered.


翻译:神经胶质瘤分级与生存预测需要整合来自不同空间和生物学尺度的异质性信息。组织病理学描述组织形态,mRNA表达捕捉分子活性,磁共振成像提供肿瘤范围及放射学异质性的非侵入性观察。现有神经胶质瘤预后模型通常仅融合其中两种数据源,且对齐目标多停留在成对层面。本文提出GLORIA——一种用于神经胶质瘤组学、影像学与组织病理学三方对齐的新型三模态框架。GLORIA通过模态专用编码器处理全切片图像区域、基因表达谱与三维MRI体素,将其投影至共享潜在空间,并采用Gram矩阵对比损失(该损失衡量三种模态嵌入所张成的体量)实现对齐。对齐后的表征经跨模态门控模块融合,联合优化用于三级神经胶质瘤分级与总体生存预测。我们在包含132例匹配TCGA-GBM/LGG与BraTS21三模态数据患者的队列上评估GLORIA。在三模态共享测试集中,GLORIA在所有评估指标上均优于双模态WSI-mRNA基线模型。

0
下载
关闭预览

相关内容

【博士论文】机器学习中新型神经元模型的研究
专知会员服务
25+阅读 · 2024年11月20日
神经形态器件的特性与发展
专知会员服务
22+阅读 · 2024年2月22日
基于深度学习的图像融合方法综述
专知会员服务
57+阅读 · 2023年1月25日
视觉Transformer预训练模型的胸腔X线影像多标签分类
专知会员服务
14+阅读 · 2022年7月29日
《深度学习医学图像配准》综述进展
专知会员服务
49+阅读 · 2022年5月9日
专知会员服务
50+阅读 · 2021年8月28日
多模态视觉语言表征学习研究综述
专知
27+阅读 · 2020年12月3日
基于深度学习的医学图像半监督分割
CVer
14+阅读 · 2020年9月24日
华为分享 异质图表示学习(异质图神经网络)
图与推荐
14+阅读 · 2020年9月10日
专家报告|深度学习+图像多模态融合
中国图象图形学报
12+阅读 · 2019年10月23日
【学界】基于条件深度卷积生成对抗网络的图像识别方法
GAN生成式对抗网络
16+阅读 · 2018年7月26日
基于深度学习的肿瘤图像分割研究取得进展
中科院之声
17+阅读 · 2017年9月17日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
6+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
7+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
4+阅读 · 6月17日
相关资讯
多模态视觉语言表征学习研究综述
专知
27+阅读 · 2020年12月3日
基于深度学习的医学图像半监督分割
CVer
14+阅读 · 2020年9月24日
华为分享 异质图表示学习(异质图神经网络)
图与推荐
14+阅读 · 2020年9月10日
专家报告|深度学习+图像多模态融合
中国图象图形学报
12+阅读 · 2019年10月23日
【学界】基于条件深度卷积生成对抗网络的图像识别方法
GAN生成式对抗网络
16+阅读 · 2018年7月26日
基于深度学习的肿瘤图像分割研究取得进展
中科院之声
17+阅读 · 2017年9月17日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员