Multiple Instance Learning (MIL) is the dominant framework for gigapixel whole-slide image (WSI) classification in computational pathology. However, current MIL aggregators route all instances through a shared pathway, constraining their capacity to specialise across the pathological heterogeneity inherent in each slide. Mixture-of-Experts (MoE) methods offer a natural remedy by partitioning instances across specialised expert subnetworks; yet unconstrained softmax routing may yield highly imbalanced utilisation, where one or a few experts absorb most routing mass, collapsing the mixture back to a near-single-pathway solution. To address these limitations, we propose ROAM (Region-graph OptimAl-transport Mixture-of-experts), a spatially aware MoE-MIL aggregator that routes region tokens to expert poolers via capacity-constrained entropic optimal transport, promoting balanced expert utilisation by construction. ROAM operates on spatial region tokens, obtained by compressing dense patch bags into spatially binned units that align routing with local tissue neighbourhoods and introduces two key mechanisms: (i) region-to-expert assignment formulated as entropic optimal transport (Sinkhorn) with explicit per slide capacity marginals, enforcing balanced expert utilisation without auxiliary load-balancing losses; and (ii) graph-regularised Sinkhorn iterations that diffuse routing assignments over the spatial region graph, encouraging neighbouring regions to coherently route to the same experts. Evaluated on four WSI benchmarks with frozen foundation-model patch embeddings, ROAM achieves performance competitive against strong MIL and MoE baselines, and on NSCLC generalisation (TCGA-CPTAC) reaches external AUC 0.845 +- 0.019.


翻译:多实例学习(Multiple Instance Learning, MIL)是计算病理学中用于十亿像素全切片图像(Whole-Slide Image, WSI)分类的主流框架。然而,当前MIL聚合器将所有实例通过共享通路路由,限制了其针对每个切片固有的病理异质性进行特化的能力。混合专家(Mixture-of-Experts, MoE)方法通过将实例分配给专门的专家子网络提供了一种自然解决方案;然而,无约束的Softmax路由可能导致高度不平衡的利用率,即一个或少数几个专家吸收大部分路由质量,使混合物退化为近乎单通路的解决方案。为解决这些局限,我们提出ROAM(Region-graph OptimAl-transport Mixture-of-experts,区域图最优传输混合专家),这是一种空间感知的MoE-MIL聚合器,通过带容量约束的熵正则化最优传输将区域令牌路由至专家池化器,从而从构建层面促进专家平衡利用。ROAM操作于空间区域令牌(通过将密集的图块包压缩为空间分箱单元获得,使路由与局部组织邻域对齐),并引入两个关键机制:(i) 将区域到专家分配表述为具有显式每切片容量边际约束的熵正则化最优传输(Sinkhorn),无需辅助负载均衡损失即可强制实现专家平衡利用;(ii) 图正则化Sinkhorn迭代,将路由分配沿空间区域图扩散,鼓励相邻区域连贯地路由至相同专家。在四个WSI基准测试中,使用冻结的基础模型图块嵌入进行评估,ROAM实现了与强MIL和MoE基线相当的性能,并在NSCLC泛化(TCGA-CPTAC)上达到外部AUC 0.845 ± 0.019。

0
下载
关闭预览

相关内容

高效医疗图像分析的统一表示
专知会员服务
36+阅读 · 2020年6月23日
Graph Neural Networks 综述
计算机视觉life
30+阅读 · 2019年8月13日
关于CNN图像分类的一份综合设计指南
云栖社区
11+阅读 · 2018年5月15日
【迁移学习】迁移学习在图像分类中的简单应用策略
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
VIP会员
最新内容
反制无人机:乌克兰提供的五点启示
专知会员服务
4+阅读 · 9月23日
《各指挥层级均亟需红队能力》报告
专知会员服务
6+阅读 · 9月23日
《航电任务系统框架(FAMOS)》50页报告
专知会员服务
4+阅读 · 9月22日
《对抗行动中的人工智能与自主性》智库报告
专知会员服务
7+阅读 · 9月22日
《从数据到胜利:战争中的分析优势之争》
专知会员服务
10+阅读 · 9月22日
战争不仅需要机器人:人类仍不可或缺
专知会员服务
5+阅读 · 9月21日
《描绘美国防部创新基础设施的未来蓝图》100页
专知会员服务
10+阅读 · 9月21日
相关VIP内容
高效医疗图像分析的统一表示
专知会员服务
36+阅读 · 2020年6月23日
相关基金
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员