Integrating transcriptomics and histopathology can improve cancer risk modelling, yet practical use is constrained by the limited availability of RNA profiling in routine settings. Here we introduce Mixture of Pathway Experts (MoPE), a knowledge-distillation framework that reframes multimodal learning as privileged distillation for histology-only inference. MoPE is motivated by the partial observability between RNA profiles and whole-slide images: histology can capture morphology-linked consequences of certain molecular programmes, but cannot be expected to reconstruct the full transcriptomic state. MoPE encodes RNA-derived pathways and transfers the molecular supervision to pathway-indexed pathology experts through memory-usage alignment. Across diverse public benchmarks and two independent breast cancer cohorts, MoPE consistently improved WSI-only inference performance relative to baseline methods. Pathway-usage analyses and human-audited visual inspection provide bounded inspection of model behaviour and candidate morphology-linked readouts. These results support pathway-structured privileged distillation as a promising route to using molecular information during training while preserving RNA-free inference.


翻译:整合转录组学与组织病理学可改善癌症风险建模,但实际应用中RNA谱分析在日常检测中的有限可用性构成制约。本文提出混合路径专家(Mixture of Pathway Experts, MoPE)框架——一种将多模态学习重构为组织学推理特权蒸馏的知识蒸馏框架。MoPE的提出基于RNA谱与全切片图像之间的部分可观测性:组织学可捕获特定分子程序相关的形态学后果,但无法完整重建转录组状态。MoPE通过编码RNA衍生通路,并借助显存占用对齐技术将分子监督信号传递至通路索引病理学专家。在多个公开基准数据集及两个独立乳腺癌队列中,相较于基线方法,MoPE持续提升了仅基于全切片图像的推理性能。通路使用分析与人机协同视觉检查提供了模型行为的边界化审查及候选形态学相关读数。这些结果表明,路径结构特权蒸馏是在训练阶段利用分子信息、同时保持无RNA推理能力的可行方案。

0
下载
关闭预览

相关内容

混合专家模型简述
专知会员服务
18+阅读 · 2025年5月30日
《混合专家模型推理优化技术综述》
专知会员服务
46+阅读 · 2024年12月21日
机器学习组合优化
专知会员服务
111+阅读 · 2021年2月16日
基于知识蒸馏的BERT模型压缩
大数据文摘
18+阅读 · 2019年10月14日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
4+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
6+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
3+阅读 · 6月17日
相关基金
Top
微信扫码咨询专知VIP会员