Breast-Conserving Surgery (BCS) requires precise intraoperative margin assessment to preserve healthy tissue. Deep Ultraviolet Fluorescence Scanning Microscopy (DUV-FSM) offers rapid, high-resolution surface imaging for this purpose; however, the scarcity of annotated DUV data hinders the training of robust deep learning models. To address this, we propose an Self-Supervised Learning (SSL)-guided Latent Diffusion Model (LDM) to generate high-quality synthetic training patches. By guiding the LDM with embeddings from a fine-tuned DINO teacher, we inject rich semantic details of cellular structures into the synthetic data. We combine real and synthetic patches to fine-tune a Vision Transformer (ViT), utilizing patch prediction aggregation for WSI-level classification. Experiments using 5-fold cross-validation demonstrate that our method achieves 96.47 % accuracy and reduces the FID score to 45.72, significantly outperforming class-conditioned baselines.


翻译:保乳手术(BCS)需要精确的术中切缘评估以保留健康组织。深紫外荧光扫描显微镜(DUV-FSM)为此提供了快速、高分辨率的表面成像;然而,标注DUV数据的稀缺性阻碍了鲁棒深度学习模型的训练。为解决此问题,我们提出了一种自监督学习(SSL)引导的潜在扩散模型(LDM)来生成高质量的合成训练图像块。通过使用微调后的DINO教师模型的嵌入向量引导LDM,我们将细胞结构的丰富语义细节注入合成数据中。我们结合真实与合成图像块来微调视觉Transformer(ViT),并利用图像块预测聚合进行全切片图像(WSI)级别的分类。使用五折交叉验证的实验表明,我们的方法达到了96.47%的准确率,并将FID分数降低至45.72,显著优于类别条件基线方法。

0
下载
关闭预览

相关内容

视觉Transformer预训练模型的胸腔X线影像多标签分类
专知会员服务
14+阅读 · 2022年7月29日
自监督学习推动医学图像分类发展
TensorFlow
17+阅读 · 2021年12月6日
医疗中的自动机器学习和可解释性
专知
24+阅读 · 2019年4月1日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
VIP会员
相关VIP内容
视觉Transformer预训练模型的胸腔X线影像多标签分类
专知会员服务
14+阅读 · 2022年7月29日
相关基金
Top
微信扫码咨询专知VIP会员