Microscopic evaluation of white blood cell morphology is central to leukemia diagnosis, yet current deep learning models often act as black boxes, limiting clinical trust and adoption. We introduce HemBLIP, a vision language model designed to generate interpretable, morphology aware descriptions of peripheral blood cells. Using a newly constructed dataset of 14k healthy and leukemic cells paired with expert-derived attribute captions, we adapt a general-purpose VLM via both full fine-tuning and LoRA based parameter efficient training, and benchmark against the biomedical foundation model MedGEMMA. HemBLIP achieves higher caption quality and morphological accuracy, while LoRA adaptation provides further gains with significantly reduced computational cost. These results highlight the promise of vision language models for transparent and scalable hematological diagnostics.


翻译:白细胞形态的显微镜评估是白血病诊断的核心,然而当前的深度学习模型通常作为黑箱运行,限制了临床信任和采用。我们提出了HemBLIP,这是一种视觉语言模型,旨在生成外周血细胞的可解释、具有形态学意识的描述。利用一个新构建的包含14k个健康与白血病细胞及其专家标注属性描述的数据集,我们通过全量微调和基于LoRA的参数高效训练方法,对一个通用视觉语言模型进行适配,并以生物医学基础模型MedGEMMA为基准进行比较。HemBLIP在描述质量和形态学准确性方面表现更优,而LoRA适配在显著降低计算成本的同时带来了进一步的性能提升。这些结果凸显了视觉语言模型在实现透明且可扩展的血液学诊断方面的潜力。

0
下载
关闭预览

相关内容

大规模视觉-语言模型的基准、评估、应用与挑战
专知会员服务
18+阅读 · 2025年2月10日
大规模语言模型在生物信息学中的应用
专知会员服务
18+阅读 · 2025年1月16日
大型语言模型疾病诊断综述
专知会员服务
32+阅读 · 2024年9月21日
Nat. Med. | 医学中的大型语言模型
专知会员服务
58+阅读 · 2023年9月19日
PubMed GPT : 用于生物医学文本的特定领域大型语言模型
专知会员服务
38+阅读 · 2022年12月19日
AmpliGraph:知识图谱表示学习工具包
专知
40+阅读 · 2019年4月6日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关基金
Top
微信扫码咨询专知VIP会员