Task-specific microscopy datasets are often too small to train deep learning models that learn robust feature representations. Self-supervised learning (SSL) can mitigate this by pretraining on large unlabeled datasets, but it remains unclear how well such representations transfer across microscopy domains with different staining protocols and channel configurations. We investigate the cross-domain transferability of DINO-pretrained Vision Transformers for protein localization on the OpenCell dataset. We generate image embeddings using three DINO backbones pretrained on ImageNet-1k, the Human Protein Atlas (HPA), and OpenCell, and evaluate them by training a supervised classification head on OpenCell labels. All pretrained models transfer well, with the microscopy-specific HPA-pretrained model achieving the best performance (mean macro $F_1$-score = 0.8221 \pm 0.0062), slightly outperforming a DINO model trained directly on OpenCell (0.8057 \pm 0.0090). These results highlight the value of large-scale pretraining and indicate that domain-relevant SSL representations can generalize effectively to related but distinct microscopy datasets, enabling strong downstream performance even when task-specific labeled data are limited.


翻译:特定任务的显微成像数据集通常规模过小,难以训练出学习鲁棒特征表示的深度学习模型。自监督学习可通过在大型无标注数据集上进行预训练来缓解此问题,但此类表征在不同染色方案和通道配置的显微成像领域间的迁移能力尚不明确。本研究基于OpenCell数据集,探究了DINO预训练视觉Transformer在蛋白质定位任务中的跨领域可迁移性。我们使用在ImageNet-1k、人类蛋白质图谱和OpenCell上预训练的三种DINO主干网络生成图像嵌入,并通过在OpenCell标注上训练监督分类头进行评估。所有预训练模型均表现出良好的迁移能力,其中显微成像特异的HPA预训练模型取得最佳性能(平均宏观$F_1$分数=0.8221±0.0062),略优于直接在OpenCell上训练的DINO模型(0.8057±0.0090)。这些结果凸显了大规模预训练的价值,表明领域相关的自监督学习表征能有效泛化至相关但不同的显微成像数据集,即使在任务特定标注数据有限的情况下也能实现优异的下游性能。

0
下载
关闭预览

相关内容

《视觉Transformers自监督学习机制综述》
专知会员服务
29+阅读 · 2024年9月2日
专知会员服务
65+阅读 · 2021年4月11日
国家自然科学基金
3+阅读 · 2017年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
17+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关VIP内容
《视觉Transformers自监督学习机制综述》
专知会员服务
29+阅读 · 2024年9月2日
专知会员服务
65+阅读 · 2021年4月11日
相关基金
国家自然科学基金
3+阅读 · 2017年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
17+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员