Breast-Conserving Surgery (BCS) requires precise intraoperative margin assessment to preserve healthy tissue. Deep Ultraviolet Fluorescence Scanning Microscopy (DUV-FSM) offers rapid, high-resolution surface imaging for this purpose; however, the scarcity of annotated DUV data hinders the training of robust deep learning models. To address this, we propose an Self-Supervised Learning (SSL)-guided Latent Diffusion Model (LDM) to generate high-quality synthetic training patches. By guiding the LDM with embeddings from a fine-tuned DINO teacher, we inject rich semantic details of cellular structures into the synthetic data. We combine real and synthetic patches to fine-tune a Vision Transformer (ViT), utilizing patch prediction aggregation for WSI-level classification. Experiments using 5-fold cross-validation demonstrate that our method achieves 96.47 % accuracy and reduces the FID score to 45.72, significantly outperforming class-conditioned baselines.


翻译:保乳手术(BCS)需要精确的术中切缘评估以保留健康组织。为此,深紫外荧光扫描显微镜(DUV-FSM)提供了快速、高分辨率的表面成像;然而,标注DUV数据的稀缺性阻碍了鲁棒深度学习模型的训练。为解决这一问题,我们提出了一种自监督学习(SSL)引导的潜在扩散模型(LDM),用于生成高质量的合成训练图像块。通过使用来自微调DINO教师的嵌入向量引导LDM,我们将细胞结构的丰富语义细节注入合成数据中。我们结合真实与合成图像块来微调视觉Transformer(ViT),并利用图像块预测聚合进行全切片图像(WSI)级别的分类。使用五折交叉验证的实验表明,我们的方法达到了96.47%的准确率,并将FID分数降低至45.72,显著优于类别条件基线。

0
下载
关闭预览

相关内容

视觉Transformer预训练模型的胸腔X线影像多标签分类
专知会员服务
14+阅读 · 2022年7月29日
自监督学习推动医学图像分类发展
TensorFlow
17+阅读 · 2021年12月6日
深度学习与医学图像分析
人工智能前沿讲习班
40+阅读 · 2019年6月8日
读论文Discriminative Deep Metric Learning for Face and KV
统计学习与视觉计算组
12+阅读 · 2018年4月6日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
VIP会员
相关VIP内容
视觉Transformer预训练模型的胸腔X线影像多标签分类
专知会员服务
14+阅读 · 2022年7月29日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员