Histopathology analysis relies on Hematoxylin and Eosin (H&E) staining, but fluorescence microscopy offers complementary information. Converting fluorescence images to H&E-like appearance can aid interpretation and integration with standard workflows. We present a Cycle-Consistent Adversarial Network (CycleGAN) approach for unpaired image-to-image translation from multi-channel fluorescence microscopy to pseudo H&E stained histopathology images. The method combines C01 and C02 fluorescence channels into RGB and learns a bidirectional mapping between fluorescence and H&E domains without paired training data. The architecture uses ResNet-based generators with residual blocks and PatchGAN discriminators, trained with adversarial, cycle-consistency, and identity losses. Experiments on fluorescence microscopy datasets show the model generates realistic pseudo H&E images that preserve morphological structures while adopting H&E-like color characteristics. This enables visualization of fluorescence data in a format familiar to pathologists and supports integration with existing H&E-based analysis pipelines.


翻译:组织病理学分析依赖于苏木精-伊红(H&E)染色,但荧光显微镜能提供互补信息。将荧光图像转换为类H&E外观有助于图像解读以及与标准工作流程的整合。本文提出一种循环一致性对抗网络(CycleGAN)方法,用于从多通道荧光显微镜图像到伪H&E染色组织病理学图像的非配对图像转换。该方法将C01和C02荧光通道合并为RGB格式,并在无配对训练数据的情况下学习荧光域与H&E域之间的双向映射。网络架构采用基于ResNet的残差块生成器和PatchGAN判别器,通过对抗损失、循环一致性损失和恒等损失进行训练。在荧光显微镜数据集上的实验表明,该模型能生成逼真的伪H&E图像,在保持形态学结构的同时呈现类H&E染色色彩特征。这使荧光数据能以病理学家熟悉的格式可视化,并支持与现有基于H&E的分析流程进行整合。

0
下载
关闭预览

相关内容

【CVPR2022】基于粗-精视觉Transformer的仿射医学图像配准
专知会员服务
36+阅读 · 2022年4月2日
专知会员服务
33+阅读 · 2021年7月26日
关于GANs在医学图像领域应用的总结
计算机视觉life
13+阅读 · 2019年7月25日
CycleGAN:图片风格,想换就换 | ICCV 2017论文解读
PaperWeekly
12+阅读 · 2018年3月14日
国家自然科学基金
0+阅读 · 2016年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 2月10日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2016年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员