Accurate semantic segmentation for histopathology image is crucial for quantitative tissue analysis and downstream clinical modeling. Recent segmentation foundation models have improved generalization through large-scale pretraining, yet remain poorly aligned with pathology because they treat segmentation as a static visual prediction task. Here we present VISTA-PATH, an interactive, class-aware pathology segmentation foundation model designed to resolve heterogeneous structures, incorporate expert feedback, and produce pixel-level segmentation that are directly meaningful for clinical interpretation. VISTA-PATH jointly conditions segmentation on visual context, semantic tissue descriptions, and optional expert-provided spatial prompts, enabling precise multi-class segmentation across heterogeneous pathology images. To support this paradigm, we curate VISTA-PATH Data, a large-scale pathology segmentation corpus comprising over 1.6 million image-mask-text triplets spanning 9 organs and 93 tissue classes. Across extensive held-out and external benchmarks, VISTA-PATH consistently outperforms existing segmentation foundation models. Importantly, VISTA-PATH supports dynamic human-in-the-loop refinement by propagating sparse, patch-level bounding-box annotation feedback into whole-slide segmentation. Finally, we show that the high-fidelity, class-aware segmentation produced by VISTA-PATH is a preferred model for computational pathology. It improve tissue microenvironment analysis through proposed Tumor Interaction Score (TIS), which exhibits strong and significant associations with patient survival. Together, these results establish VISTA-PATH as a foundation model that elevates pathology image segmentation from a static prediction to an interactive and clinically grounded representation for digital pathology. Source code and demo can be found at https://github.com/zhihuanglab/VISTA-PATH.


翻译:组织病理学图像的精确语义分割对于定量组织分析和下游临床建模至关重要。近期的分割基础模型通过大规模预训练提升了泛化能力,但由于将分割视为静态视觉预测任务,仍与病理学领域契合不足。本文提出VISTA-PATH,一种交互式、类别感知的病理分割基础模型,旨在解析异质性结构、整合专家反馈,并生成对临床解释具有直接意义的像素级分割结果。VISTA-PATH将视觉上下文、语义组织描述和可选专家提供的空间提示共同作为分割条件,实现了跨异质性病理图像的精确多类别分割。为支撑此范式,我们构建了VISTA-PATH Data——一个大规模病理分割数据集,包含超过160万个图像-掩码-文本三元组,涵盖9个器官和93种组织类别。在大量留出测试集和外部基准测试中,VISTA-PATH持续超越现有分割基础模型。重要的是,VISTA-PATH支持动态人机协同优化,可将稀疏的局部边界框标注反馈传播至全玻片分割。最后,我们证明VISTA-PATH生成的高保真、类别感知分割是计算病理学的优选模型。通过提出的肿瘤相互作用评分(TIS),该模型改善了肿瘤微环境分析,该评分与患者生存期呈现显著强相关性。综上,这些成果确立了VISTA-PATH作为基础模型,将病理图像分割从静态预测提升为数字病理学中交互式且临床可解释的表征。源代码与演示可见于 https://github.com/zhihuanglab/VISTA-PATH。

0
下载
关闭预览

相关内容

专知会员服务
116+阅读 · 2021年1月11日
病理图像的全景分割
人工智能前沿讲习班
16+阅读 · 2019年6月1日
本周精选共读论文《计算机视觉图像分割》六篇
人工智能前沿讲习班
10+阅读 · 2019年4月1日
超像素、语义分割、实例分割、全景分割 傻傻分不清?
计算机视觉life
19+阅读 · 2018年11月27日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
VIP会员
相关VIP内容
专知会员服务
116+阅读 · 2021年1月11日
相关资讯
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员