In this paper, we introduce a clinical diagnosis template-based pipeline to systematically collect and structure pathological information. In collaboration with pathologists and guided by the the College of American Pathologists (CAP) Cancer Protocols, we design a Clinical Pathology Report Template (CPRT) that ensures comprehensive and standardized extraction of diagnostic elements from pathology reports. We validate the effectiveness of our pipeline on TCGA-BRCA. First, we extract pathological features from reports using CPRT. These features are then used to build CTIS-Align, a dataset of 80k slide-description pairs from 804 WSIs for vision-language alignment training, and CTIS-Bench, a rigorously curated VQA benchmark comprising 977 WSIs and 14,879 question-answer pairs. CTIS-Bench emphasizes clinically grounded, closed-ended questions (e.g., tumor grade, receptor status) that reflect real diagnostic workflows, minimize non-visual reasoning, and require genuine slide understanding. We further propose CTIS-QA, a Slide-level Question Answering model, featuring a dual-stream architecture that mimics pathologists' diagnostic approach. One stream captures global slide-level context via clustering-based feature aggregation, while the other focuses on salient local regions through attention-guided patch perception module. Extensive experiments on WSI-VQA, CTIS-Bench, and slide-level diagnostic tasks show that CTIS-QA consistently outperforms existing state-of-the-art models across multiple metrics. Code and data are available at https://github.com/HLSvois/CTIS-QA.


翻译:本文提出了一种基于临床诊断模板的流程,用于系统性地收集和组织病理学信息。在与病理学家合作并遵循美国病理学家学会(CAP)癌症报告指南的指导下,我们设计了一个临床病理报告模板(CPRT),以确保从病理报告中全面、标准化地提取诊断要素。我们在TCGA-BRCA数据集上验证了该流程的有效性。首先,我们使用CPRT从报告中提取病理学特征。这些特征随后被用于构建CTIS-Align——一个包含来自804张全切片图像(WSI)的8万个玻片-描述对的数据集,用于视觉-语言对齐训练;以及CTIS-Bench——一个精心构建的视觉问答(VQA)基准,包含977张WSI和14,879个问答对。CTIS-Bench强调基于临床的封闭式问题(例如肿瘤分级、受体状态),这些问题反映了真实的诊断流程,最大限度地减少了非视觉推理,并需要真正的玻片理解能力。我们进一步提出了CTIS-QA,一个玻片级问答模型,其采用双流架构以模拟病理学家的诊断方法。一个流通过基于聚类的特征聚合捕获全局玻片级上下文,而另一个流则通过注意力引导的局部区块感知模块聚焦于显著区域。在WSI-VQA、CTIS-Bench以及玻片级诊断任务上的大量实验表明,CTIS-QA在多项指标上均持续优于现有的最先进模型。代码与数据可在 https://github.com/HLSvois/CTIS-QA 获取。

0
下载
关闭预览

相关内容

图机器学习 2.2-2.4 Properties of Networks, Random Graph
图与推荐
10+阅读 · 2020年3月28日
OpenAI官方发布:强化学习中的关键论文
专知
14+阅读 · 2018年12月12日
国家自然科学基金
0+阅读 · 2016年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2016年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员