The rapid digitization of histopathology slides has opened up new possibilities for computational tools in clinical and research workflows. Among these, content-based slide retrieval stands out, enabling pathologists to identify morphologically and semantically similar cases, thereby supporting precise diagnoses, enhancing consistency across observers, and assisting example-based education. However, effective retrieval of whole slide images (WSIs) remains challenging due to their gigapixel scale and the difficulty of capturing subtle semantic differences amid abundant irrelevant content. To overcome these challenges, we present PathSearch, a retrieval framework that unifies fine-grained attentive mosaic representations with global-wise slide embeddings aligned through vision-language contrastive learning. Trained on a corpus of 6,926 slide-report pairs, PathSearch captures both fine-grained morphological cues and high-level semantic patterns to enable accurate and flexible retrieval. The framework supports two key functionalities: (1) mosaic-based image-to-image retrieval, ensuring accurate and efficient slide research; and (2) multi-modal retrieval, where text queries can directly retrieve relevant slides. PathSearch was rigorously evaluated on four public pathology datasets and three in-house cohorts, covering tasks including anatomical site retrieval, tumor subtyping, tumor vs. non-tumor discrimination, and grading across diverse organs such as breast, lung, kidney, liver, and stomach. External results show that PathSearch outperforms traditional image-to-image retrieval frameworks. A multi-center reader study further demonstrates that PathSearch improves diagnostic accuracy, boosts confidence, and enhances inter-observer agreement among pathologists in real clinical scenarios. These results establish PathSearch as a scalable and generalizable retrieval solution for digital pathology.


翻译:组织病理学切片的快速数字化为临床与研究流程中的计算工具开辟了新前景。其中,基于内容的切片检索尤为突出,它能够帮助病理学家识别形态学与语义层面相似的病例,从而支持精准诊断、提升观察者间一致性,并辅助基于实例的教学。然而,由于全切片图像(WSI)具有千兆像素级的尺度,且在大量无关内容中捕捉细微语义差异存在困难,实现有效的WSI检索仍具挑战。为应对这些挑战,我们提出了PathSearch检索框架,该框架通过视觉-语言对比学习将细粒度注意力马赛克表征与全局切片嵌入进行对齐整合。基于6,926对切片-报告数据训练,PathSearch能够同时捕捉细粒度形态学特征与高层语义模式,从而实现精准且灵活的检索。该框架支持两项核心功能:(1)基于马赛克的图像到图像检索,确保切片检索的准确性与高效性;(2)多模态检索,支持通过文本查询直接检索相关切片。PathSearch在四个公开病理学数据集及三个内部队列上进行了严格评估,涵盖解剖部位检索、肿瘤亚型分类、肿瘤与非肿瘤鉴别以及乳腺、肺、肾、肝、胃等多器官分级任务。外部验证结果表明,PathSearch性能优于传统图像到图像检索框架。一项多中心读者研究进一步证明,PathSearch在实际临床场景中能够提升病理学家的诊断准确率、增强诊断信心并提高观察者间一致性。这些结果确立了PathSearch作为数字病理学领域可扩展且泛化性强的检索解决方案。

0
下载
关闭预览

相关内容

FlowQA: Grasping Flow in History for Conversational Machine Comprehension
专知会员服务
34+阅读 · 2019年10月18日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
60+阅读 · 2019年10月17日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
STRCF for Visual Object Tracking
统计学习与视觉计算组
15+阅读 · 2018年5月29日
Focal Loss for Dense Object Detection
统计学习与视觉计算组
12+阅读 · 2018年3月15日
IJCAI | Cascade Dynamics Modeling with Attention-based RNN
KingsGarden
13+阅读 · 2017年7月16日
国家自然科学基金
13+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Arxiv
17+阅读 · 2019年3月28日
Arxiv
15+阅读 · 2018年2月4日
VIP会员
相关资讯
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
STRCF for Visual Object Tracking
统计学习与视觉计算组
15+阅读 · 2018年5月29日
Focal Loss for Dense Object Detection
统计学习与视觉计算组
12+阅读 · 2018年3月15日
IJCAI | Cascade Dynamics Modeling with Attention-based RNN
KingsGarden
13+阅读 · 2017年7月16日
相关基金
国家自然科学基金
13+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员