Multimodal deep learning for cancer prognosis is commonly assumed to benefit from synergistic cross-modal interactions, yet this assumption has not been directly tested in survival prediction settings. This work adapts InterSHAP, a Shapley interaction index-based metric, from classification to Cox proportional hazards models and applies it to quantify cross-modal interactions in glioma survival prediction. Using TCGA-GBM and TCGA-LGG data (n=575), we evaluate four fusion architectures combining whole-slide image (WSI) and RNA-seq features. Our central finding is an inverse relationship between predictive performance and measured interaction: architectures achieving superior discrimination (C-index 0.64$\to$0.82) exhibit equivalent or lower cross-modal interaction (4.8\%$\to$3.0\%). Variance decomposition reveals stable additive contributions across all architectures (WSI${\approx}$40\%, RNA${\approx}$55\%, Interaction${\approx}$4\%), indicating that performance gains arise from complementary signal aggregation rather than learned synergy. These findings provide a practical model auditing tool for comparing fusion strategies, reframe the role of architectural complexity in multimodal fusion, and have implications for privacy-preserving federated deployment.


翻译:多模态深度学习在癌症预后预测中通常被认为得益于跨模态协同交互效应,然而这一假设在生存预测场景中尚未得到直接验证。本研究将基于Shapley交互指数的InterSHAP指标从分类任务适配至Cox比例风险模型,并应用于量化胶质瘤生存预测中的跨模态交互效应。基于TCGA-GBM和TCGA-LGG数据集(n=575),我们评估了四种融合全切片图像(WSI)与RNA-seq特征的融合架构。核心发现是预测性能与测得的交互效应呈反比关系:实现更优区分能力的架构(C-index 0.64→0.82)反而呈现更低或相当的跨模态交互效应(4.8%→3.0%)。方差分解显示所有架构均存在稳定的加性贡献(WSI≈40%,RNA≈55%,交互效应≈4%),表明性能提升源于互补信号的聚合而非学习到的协同效应。这些发现为比较融合策略提供了实用的模型审计工具,重新审视了架构复杂度在多模态融合中的角色,并对隐私保护的联邦部署具有启示意义。

0
下载
关闭预览

相关内容

《多模态对齐与融合》综述
专知会员服务
99+阅读 · 2024年11月27日
深度多模态数据融合
专知会员服务
55+阅读 · 2024年11月9日
低质量数据的多模态融合综述
专知会员服务
59+阅读 · 2024年5月4日
《深度模型融合》综述
专知会员服务
75+阅读 · 2023年9月28日
Cancer Cell综述|AI用于肿瘤学中的多模态数据集成
专知会员服务
35+阅读 · 2022年10月13日
多模态深度学习在生物医学数据融合中的应用研究进展
专知会员服务
62+阅读 · 2022年5月31日
专知会员服务
53+阅读 · 2021年8月13日
专知会员服务
62+阅读 · 2021年3月25日
数据受限条件下的多模态处理技术综述
专知
22+阅读 · 2022年7月16日
深度多模态表示学习综述论文,22页pdf
专知
33+阅读 · 2020年6月21日
【工大SCIR笔记】多模态信息抽取简述
深度学习自然语言处理
19+阅读 · 2020年4月3日
专家报告|深度学习+图像多模态融合
中国图象图形学报
12+阅读 · 2019年10月23日
国家自然科学基金
23+阅读 · 2016年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
Arxiv
14+阅读 · 2023年9月27日
VIP会员
最新内容
无人机自主控制与人工智能:系统性综述
专知会员服务
6+阅读 · 今天7:25
巡飞弹与反无人机系统——现代战场的两大支柱
专知会员服务
2+阅读 · 今天6:54
《打造“黄金舰队”》57页报告
专知会员服务
1+阅读 · 今天6:52
《北约数字教官网络发展路径》128页报告
专知会员服务
1+阅读 · 今天6:33
ECCV 2026 | MIMFlow:MIM与归一化流统一图像生成
专知会员服务
6+阅读 · 6月25日
网状网络及其在军事领域的运用
专知会员服务
7+阅读 · 6月25日
无美国参与的欧洲战争方式(万字长文)
专知会员服务
8+阅读 · 6月25日
《国防领域敏感性分析白皮书》
专知会员服务
9+阅读 · 6月25日
综述 | 从问答到任务完成:Agent系统与Harness设计
专知会员服务
10+阅读 · 6月24日
Agentic RL:框架、实践与长程智能体训练
专知会员服务
10+阅读 · 6月24日
相关VIP内容
《多模态对齐与融合》综述
专知会员服务
99+阅读 · 2024年11月27日
深度多模态数据融合
专知会员服务
55+阅读 · 2024年11月9日
低质量数据的多模态融合综述
专知会员服务
59+阅读 · 2024年5月4日
《深度模型融合》综述
专知会员服务
75+阅读 · 2023年9月28日
Cancer Cell综述|AI用于肿瘤学中的多模态数据集成
专知会员服务
35+阅读 · 2022年10月13日
多模态深度学习在生物医学数据融合中的应用研究进展
专知会员服务
62+阅读 · 2022年5月31日
专知会员服务
53+阅读 · 2021年8月13日
专知会员服务
62+阅读 · 2021年3月25日
相关基金
国家自然科学基金
23+阅读 · 2016年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员