Accurate survival prediction in Non-Small Cell Lung Cancer (NSCLC) requires the integration of heterogeneous clinical, radiological, and histopathological information. While Multimodal Deep Learning (MDL) offers a promises for precision prognosis and survival prediction, its clinical applicability is severely limited by small cohort sizes and the presence of missing modalities, often forcing complete-case filtering or aggressive imputation. In this work, we present a missing-aware multimodal survival framework that integrates Computed Tomography (CT), Whole-Slide Histopathology (WSI) Images, and structured clinical variables for overall survival modeling in unresectable stage II-III NSCLC. By leveraging Foundation Models (FM) for modality-specific feature extraction and a missing-aware encoding strategy, the proposed approach enables intermediate multimodal fusion under naturally incomplete modality profiles. The proposed architecture is resilient to missing modalities by design, allowing the model to utilize all available data without being forced to drop patients during training or inference. Experimental results demonstrate that intermediate fusion consistently outperforms unimodal baselines as well as early and late fusion strategies, with the strongest performance achieved by the fusion of WSI and clinical modalities (73.30 C-index). Further analyses of modality importance reveal an adaptive behavior in which less informative modalities, i.e., CT modality, are automatically down-weighted and contribute less to the final survival prediction.


翻译:非小细胞肺癌(NSCLC)的精准生存预测需要整合异质性的临床、影像学和组织病理学信息。尽管多模态深度学习(MDL)为精准预后和生存预测提供了前景,但其临床应用受到小样本队列规模和模态缺失问题的严重限制,往往被迫采用完整病例筛选或激进插补方法。本研究提出一种缺失感知的多模态生存预测框架,整合计算机断层扫描(CT)、全切片组织病理学(WSI)图像和结构化临床变量,用于不可切除II-III期NSCLC的总生存期建模。通过利用基础模型(FM)进行模态特异性特征提取,并结合缺失感知编码策略,所提方法能够在自然不完整的模态配置下实现中间层多模态融合。该架构在设计上对缺失模态具有鲁棒性,使得模型能够充分利用所有可用数据,而无需在训练或推理阶段强制剔除患者。实验结果表明,中间融合策略持续优于单模态基线以及早期与晚期融合方案,其中WSI与临床模态的融合达到最佳性能(C指数73.30)。进一步的模态重要性分析揭示了自适应行为:信息量较低的模态(如CT模态)会被自动降权,从而对最终生存预测的贡献度降低。

0
下载
关闭预览

相关内容

Cancer Cell综述|AI用于肿瘤学中的多模态数据集成
专知会员服务
35+阅读 · 2022年10月13日
深度学习在癌症诊断、预后和治疗选择中的应用
专知会员服务
56+阅读 · 2022年6月18日
多模态深度学习在生物医学数据融合中的应用研究进展
专知会员服务
62+阅读 · 2022年5月31日
【AI与医学】多模态机器学习精准医疗健康
肿瘤微环境评分: 预测肿瘤免疫治疗疗效的新方法
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员