While multimodal survival prediction models are increasingly more accurate, their complexity often reduces interpretability, limiting insight into how different data sources influence predictions. To address this, we introduce DIMAFx, an explainable multimodal framework for cancer survival prediction that produces disentangled, interpretable modality-specific and modality-shared representations from histopathology whole-slide images and transcriptomics data. Across multiple cancer cohorts, DIMAFx achieves state-of-the-art performance and improved representation disentanglement. Leveraging its interpretable design and SHapley Additive exPlanations, DIMAFx systematically reveals key multimodal interactions and the biological information encoded in the disentangled representations. In breast cancer survival prediction, the most predictive features contain modality-shared information, including one capturing solid tumor morphology contextualized primarily by late estrogen response, where higher-grade morphology aligned with pathway upregulation and increased risk, consistent with known breast cancer biology. Key modality-specific features capture microenvironmental signals from interacting adipose and stromal morphologies. These results show that multimodal models can overcome the traditional trade-off between performance and explainability, supporting their application in precision medicine.


翻译:尽管多模态生存预测模型的准确性日益提高,但其复杂性往往降低了可解释性,限制了我们对不同数据源如何影响预测的深入理解。为解决这一问题,我们提出了DIMAFx,一个用于癌症生存预测的可解释多模态框架。该框架能够从组织病理学全切片图像和转录组学数据中生成解耦的、可解释的模态特定与模态共享表征。在多个癌症队列中,DIMAFx实现了最先进的性能并提升了表征解耦度。利用其可解释的设计和SHapley加性解释方法,DIMAFx系统地揭示了关键的多模态交互作用以及编码在解耦表征中的生物学信息。在乳腺癌生存预测中,最具预测性的特征包含模态共享信息,其中一个特征捕获了主要由晚期雌激素反应所情境化的实体肿瘤形态学信息,其中更高级别的形态学与通路上调及风险增加相关,这与已知的乳腺癌生物学特性一致。关键的模态特定特征则捕获了来自相互作用的脂肪和基质形态学的微环境信号。这些结果表明,多模态模型能够克服传统上性能与可解释性之间的权衡,支持其在精准医学中的应用。

0
下载
关闭预览

相关内容

【博士论文】弥合多模态基础模型与世界模型之间的鸿沟
多模态基础模型的机制可解释性综述
专知会员服务
43+阅读 · 2025年2月28日
多模态可解释人工智能综述:过去、现在与未来
专知会员服务
45+阅读 · 2024年12月20日
低质量数据的多模态融合综述
专知会员服务
59+阅读 · 2024年5月4日
可解释的机器学习模型和架构
专知会员服务
92+阅读 · 2023年9月17日
Cancer Cell综述|AI用于肿瘤学中的多模态数据集成
专知会员服务
35+阅读 · 2022年10月13日
数据受限条件下的多模态处理技术综述
专知
22+阅读 · 2022年7月16日
医疗中的自动机器学习和可解释性
专知
24+阅读 · 2019年4月1日
这可能是「多模态机器学习」最通俗易懂的介绍
计算机视觉life
113+阅读 · 2018年12月20日
【学界】机器学习模型的“可解释性”到底有多重要?
GAN生成式对抗网络
12+阅读 · 2018年3月3日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
VIP会员
最新内容
人工智能在战场行动中的演进及伊朗案例
专知会员服务
7+阅读 · 4月18日
美AI公司Anthropic推出网络安全模型“Mythos”
专知会员服务
4+阅读 · 4月18日
【博士论文】面向城市环境的可解释计算机视觉
大语言模型的自改进机制:技术综述与未来展望
《第四代军事特种作战部队选拔与评估》
专知会员服务
3+阅读 · 4月18日
相关VIP内容
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员