Virtual immunohistochemistry (IHC) aims to computationally synthesize molecular staining patterns from routine Hematoxylin and Eosin (H\&E) images, offering a cost-effective and tissue-efficient alternative to traditional physical staining. However, this task is particularly challenging: H\&E morphology provides ambiguous cues about protein expression, and similar tissue structures may correspond to distinct molecular states. Most existing methods focus on direct appearance synthesis to implicitly achieve cross-modal generation, often resulting in semantic inconsistencies due to insufficient structural priors. In this paper, we propose Pathology-Aware Integrated Next-Scale Transformation (PAINT), a visual autoregressive framework that reformulates the synthesis process as a structure-first conditional generation task. Unlike direct image translation, PAINT enforces a causal order by resolving molecular details conditioned on a global structural layout. Central to this approach is the introduction of a Spatial Structural Start Map (3S-Map), which grounds the autoregressive initialization in observed morphology, ensuring deterministic, spatially aligned synthesis. Experiments on the IHC4BC and MIST datasets demonstrate that PAINT outperforms state-of-the-art methods in structural fidelity and clinical downstream tasks, validating the potential of structure-guided autoregressive modeling.


翻译:虚拟免疫组织化学(IHC)旨在从常规苏木精-伊红(H&E)染色图像中计算合成分子染色模式,为传统物理染色提供一种经济高效且节约组织样本的替代方案。然而,该任务面临显著挑战:H&E形态学仅能提供关于蛋白质表达的模糊线索,且相似的组织结构可能对应不同的分子状态。现有方法多聚焦于直接外观合成以实现隐式的跨模态生成,常因结构先验不足导致语义不一致。本文提出病理感知集成跨尺度转换框架(PAINT),该视觉自回归框架将合成过程重构为结构优先的条件生成任务。与直接的图像转换不同,PAINT通过基于全局结构布局解析分子细节来强制建立因果顺序。该方法的核心是引入空间结构起始图(3S-Map),将自回归初始化锚定于观测形态,确保合成过程具有确定性且空间对齐。在IHC4BC和MIST数据集上的实验表明,PAINT在结构保真度与临床下游任务中均优于现有先进方法,验证了结构引导自回归建模的潜力。

0
下载
关闭预览

相关内容

基于深度学习和传统打分函数的配体构象优化框架
专知会员服务
14+阅读 · 2023年1月9日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 2月10日
VIP会员
相关VIP内容
基于深度学习和传统打分函数的配体构象优化框架
专知会员服务
14+阅读 · 2023年1月9日
相关资讯
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员