Accurate survival prediction in Non-Small Cell Lung Cancer (NSCLC) requires integrating clinical, radiological, and histopathological data. Multimodal Deep Learning (MDL) can improve precision prognosis, but small cohorts and missing modalities limit its clinical applicability, as conventional approaches enforce complete case filtering or imputation. We present a missing-aware multimodal survival framework that combines Computed Tomography (CT), Whole-Slide Histopathology Images (WSI), and structured clinical variables for overall survival modeling in unresectable stage II-III NSCLC. The framework uses Foundation Models (FMs) for modality-specific feature extraction and a missing-aware encoding strategy that enables intermediate multimodal fusion under naturally incomplete modality profiles. By design, the architecture processes all available data without dropping patients during training or inference. Intermediate fusion outperforms unimodal baselines and both early and late fusion strategies, with the trimodal configuration reaching a C-index of 74.42. Modality-importance analyses show that the fusion model adapts its reliance on each data stream according to representation informativeness, shaped by the alignment between FM pretraining objectives and the survival task. The learned risk scores produce clinically meaningful stratification of disease progression and metastatic risk, with statistically significant log-rank tests across all modality combinations, supporting the translational relevance of the proposed framework.


翻译:准确预测非小细胞肺癌(NSCLC)的生存预后需要整合临床、放射学和组织病理学数据。多模态深度学习(MDL)能够提升预后预测的精度,但小样本量和模态缺失限制了其临床适用性——传统方法要求完全病例筛选或数据填补。我们提出了一种感知模态缺失的多模态生存预测框架,该方法融合计算机断层扫描(CT)、全切片组织病理图像(WSI)和结构化临床变量,对不可切除II-III期NSCLC进行总体生存建模。该框架采用基础模型(FMs)进行模态特异性特征提取,并设计了一种模态缺失感知编码策略,使得在自然模态不完整的情况下仍能实现中间级多模态融合。该架构的设计确保在训练和推理过程中能够处理所有可用数据,无需剔除任何患者。中间级融合效果优于单模态基线方法,以及早期和晚期融合策略,三模态配置的C-index达到74.42%。模态重要性分析表明,融合模型会根据各数据流的信息表征能力动态调整其依赖程度,这种调整受限于基础模型预训练目标与生存预测任务之间的对齐程度。学习得到的风险评分能够产生具有临床意义的疾病进展和转移风险分层,所有模态组合的log-rank检验均达到统计学显著性,验证了所提出框架的临床转化价值。

0
下载
关闭预览

相关内容

多模态预训练模型综述
专知会员服务
94+阅读 · 2023年11月20日
Cancer Cell综述|AI用于肿瘤学中的多模态数据集成
专知会员服务
35+阅读 · 2022年10月13日
深度学习在癌症诊断、预后和治疗选择中的应用
专知会员服务
56+阅读 · 2022年6月18日
多模态深度学习在生物医学数据融合中的应用研究进展
专知会员服务
62+阅读 · 2022年5月31日
数据受限条件下的多模态处理技术综述
专知
22+阅读 · 2022年7月16日
【AI与医学】多模态机器学习精准医疗健康
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
4+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
6+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
3+阅读 · 6月17日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员