It is a critical task to evalaute HER2 expression level accurately for breast cancer evaluation and targeted treatment therapy selection. However, the standard multi-step Immunohistochemistry (IHC) staining is resource-intensive, expensive, and time-consuming, which is also often unavailable in many areas. Consequently, predicting HER2 levels directly from H&E slides has emerged as a potential alternative solution. It has been shown to be effective to use virtual IHC images from H&E images for automatic HER2 scoring. However, the pixel-level virtual staining methods are computationally expensive and prone to reconstruction artifacts that can propagate diagnostic errors. To address these limitations, we propose the Latent-Guided Dual-Stream Network (LGD-Net), a novel framework that employes cross-modal feature hallucination instead of explicit pixel-level image generation. LGD-Net learns to map morphological H&E features directly to the molecular latent space, guided by a teacher IHC encoder during training. To ensure the hallucinated features capture clinically relevant phenotypes, we explicitly regularize the model training with task-specific domain knowledge, specifically nuclei distribution and membrane staining intensity, via lightweight auxiliary regularization tasks. Extensive experiments on the public BCI dataset demonstrate that LGD-Net achieves state-of-the-art performance, significantly outperforming baseline methods while enabling efficient inference using single-modality H&E inputs.


翻译:准确评估HER2表达水平对于乳腺癌评估和靶向治疗方案选择至关重要。然而,标准的多步骤免疫组织化学染色方法资源消耗大、成本高且耗时,在许多地区也难以普及。因此,直接从H&E切片预测HER2水平已成为一种潜在的替代方案。已有研究表明,利用H&E图像生成虚拟IHC图像进行自动化HER2评分是有效的。但像素级虚拟染色方法计算成本高昂,且易产生重建伪影,可能导致诊断误差传播。为克服这些限制,我们提出潜在引导双流网络,该新颖框架采用跨模态特征幻觉而非显式的像素级图像生成。LGD-Net在训练期间通过教师IHC编码器引导,学习将形态学H&E特征直接映射到分子潜在空间。为确保幻觉特征能捕捉临床相关表型,我们通过轻量级辅助正则化任务,显式地利用任务特定领域知识(特别是细胞核分布与膜染色强度)对模型训练进行正则化。在公开BCI数据集上的大量实验表明,LGD-Net实现了最先进的性能,在仅使用单模态H&E输入进行高效推理的同时,显著优于基线方法。

0
下载
关闭预览

相关内容

专知会员服务
47+阅读 · 2020年11月13日
【ICLR 2019】双曲注意力网络,Hyperbolic  Attention Network
专知会员服务
84+阅读 · 2020年6月21日
注意力机制在分类网络中的应用:SENet、SKNet、CBAM
肿瘤微环境评分: 预测肿瘤免疫治疗疗效的新方法
PlaNet 简介:用于强化学习的深度规划网络
谷歌开发者
13+阅读 · 2019年3月16日
一文读懂目标检测:R-CNN、Fast R-CNN、Faster R-CNN、YOLO、SSD
七月在线实验室
11+阅读 · 2018年7月18日
基础 | 基于注意力机制的seq2seq网络
黑龙江大学自然语言处理实验室
16+阅读 · 2018年3月7日
干货|基于双流递归神经网络的人体骨架行为识别!
全球人工智能
13+阅读 · 2017年12月15日
推荐|caffe-orc主流ocr算法:CNN+BLSTM+CTC架构实现!
全球人工智能
19+阅读 · 2017年10月29日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
最新“指挥控制”领域出版物合集(16份)
专知会员服务
4+阅读 · 4月12日
面向军事作战需求开发的人工智能(RAIMOND)
专知会员服务
10+阅读 · 4月12日
远程空中优势:新一代超视距导弹的兴起
专知会员服务
2+阅读 · 4月12日
大语言模型溯因推理的统一分类学与综述
专知会员服务
1+阅读 · 4月12日
相关VIP内容
专知会员服务
47+阅读 · 2020年11月13日
【ICLR 2019】双曲注意力网络,Hyperbolic  Attention Network
专知会员服务
84+阅读 · 2020年6月21日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员