Foundation models (FMs) have emerged as powerful representation extractors for medical data, yet their generalizability to datasets under distribution shift remains underexplored. This work systematically evaluates FM-based representations on a suite of computational pathology tasks across two real-world commercial cohorts, IH-BC and IH-NSCLC, drawn from the licensed in-house (IH) oncology dataset. The analysis focuses on two modalities, whole-slide images and transcriptomic profiles, drawn from the IH multimodal data. We first benchmark unimodal probing performance across five FMs on eight downstream classification tasks, and find that image and omics representations carry complementary predictive signals. Then we investigate whether multimodal fusion can yield additional gains over unimodal baselines by comparing three image-omics fusion strategies built on paired representations. The trustworthiness of selected unimodal and multimodal pipelines is further assessed through conformal prediction. Our results show that FM representations achieve competitive performance on out-of-distribution data and that multimodal fusion helps mainly when no single modality dominates the signal. Conformal prediction reveals that in the majority of cases where a point prediction fails, the true diagnosis remains recoverable within the prediction set, reinforcing the value of uncertainty-aware inference for clinical support.


翻译:基础模型(FMs)已发展为医学数据中强大的表示提取器,但其在分布偏移数据集下的泛化能力仍未被充分探索。本研究基于两个真实世界商业队列(IH-BC和IH-NSCLC,源自授权内部肿瘤学数据集),系统性评估了基于FM的表示在一系列计算病理学任务中的表现。分析聚焦于该内部多模态数据中的两种模态:全切片图像与转录组图谱。我们首先在八项下游分类任务中对五种FM的单模态探测性能进行了基准测试,发现图像与组学表示携带互补的预测信号。随后,通过比较三种基于配对表示的图像-组学融合策略,探究多模态融合能否在单模态基线基础上带来额外收益。进一步利用共形预测评估了所选单模态与多模态流程的可信度。结果表明,FM表示在分布外数据上展现了具有竞争力的性能,且多模态融合主要在没有单一模态主导信号时发挥作用。共形预测揭示,在点预测失败的大多数案例中,真实诊断仍可在预测集合中被恢复,这强化了不确定性感知推理在临床支持中的价值。

0
下载
关闭预览

相关内容

用于多模态对齐的基础模型表征潜力:一项综述
专知会员服务
18+阅读 · 2025年10月8日
【CMU博士论文】利用信息论工具进行基础模型分析
专知会员服务
19+阅读 · 2025年8月31日
多模态基础模型的机制可解释性综述
专知会员服务
43+阅读 · 2025年2月28日
推荐系统的图基础模型综述
专知会员服务
20+阅读 · 2025年2月13日
【斯坦福课程】基础模型进展
专知会员服务
52+阅读 · 2023年1月15日
【AI与医学】多模态机器学习精准医疗健康
深度多模态表示学习综述论文,22页pdf
专知
33+阅读 · 2020年6月21日
基于模型系统的系统设计
科技导报
10+阅读 · 2019年4月25日
【学界】从可视化到新模型:纵览深度学习的视觉可解释性
GAN生成式对抗网络
10+阅读 · 2018年3月4日
国家自然科学基金
23+阅读 · 2016年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
4+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
6+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
3+阅读 · 6月17日
相关VIP内容
用于多模态对齐的基础模型表征潜力:一项综述
专知会员服务
18+阅读 · 2025年10月8日
【CMU博士论文】利用信息论工具进行基础模型分析
专知会员服务
19+阅读 · 2025年8月31日
多模态基础模型的机制可解释性综述
专知会员服务
43+阅读 · 2025年2月28日
推荐系统的图基础模型综述
专知会员服务
20+阅读 · 2025年2月13日
【斯坦福课程】基础模型进展
专知会员服务
52+阅读 · 2023年1月15日
相关基金
国家自然科学基金
23+阅读 · 2016年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员