Biomedical text embeddings have primarily been developed using research literature from PubMed, yet clinical cardiology practice relies heavily on procedural knowledge and specialized terminology found in comprehensive textbooks rather than research abstracts. This research practice gap limits the effectiveness of existing embedding models for clinical applications incardiology. This study trained CardioEmbed, a domain-specialized embedding model based on Qwen3-Embedding-8B, using contrastive learning on a curated corpus of seven comprehensive cardiology textbooks totaling approximately 150,000 sentences after deduplication. The model employs InfoNCE loss with in-batch negatives and achieves 99.60% retrieval accuracy on cardiac-specific semantic retrieval tasks, a +15.94 percentage point improvement over MedTE, the current state-of-the-art medical embedding model. On MTEB medical benchmarks, the model obtained BIOSSES 0.77 Spearman and SciFact 0.61 NDCG@10, indicating competitive performance on related biomedical domains. Domain-specialized training on comprehensive clinical textbooks yields near-perfect cardiology retrieval (99.60% Acc@1), improving over MedTE by +15.94 percentage points.


翻译:生物医学文本嵌入模型主要基于PubMed研究文献开发,然而临床心脏病学实践高度依赖综合性教材中的操作知识与专业术语,而非研究摘要。这一研究与实践之间的差距限制了现有嵌入模型在心脏病学临床应用中的有效性。本研究基于Qwen3-Embedding-8B,通过对比学习在经去重处理的七部综合性心脏病学教材语料库(约15万句)上训练了CardioEmbed领域专用嵌入模型。该模型采用InfoNCE损失函数结合批次内负样本策略,在心脏特异性语义检索任务中达到99.60%的检索准确率,较当前最优医学嵌入模型MedTE提升15.94个百分点。在MTEB医学基准测试中,模型取得BIOSSES 0.77斯皮尔曼相关系数和SciFact 0.61 NDCG@10指标,表明其在相关生物医学领域具有竞争力。基于综合性临床教材的领域专用训练实现了近乎完美的心脏病学检索性能(99.60% Acc@1),较MedTE模型提升15.94个百分点。

0
下载
关闭预览

相关内容

ACM/IEEE第23届模型驱动工程语言和系统国际会议,是模型驱动软件和系统工程的首要会议系列,由ACM-SIGSOFT和IEEE-TCSE支持组织。自1998年以来,模型涵盖了建模的各个方面,从语言和方法到工具和应用程序。模特的参加者来自不同的背景,包括研究人员、学者、工程师和工业专业人士。MODELS 2019是一个论坛,参与者可以围绕建模和模型驱动的软件和系统交流前沿研究成果和创新实践经验。今年的版本将为建模社区提供进一步推进建模基础的机会,并在网络物理系统、嵌入式系统、社会技术系统、云计算、大数据、机器学习、安全、开源等新兴领域提出建模的创新应用以及可持续性。 官网链接:http://www.modelsconference.org/
Top
微信扫码咨询专知VIP会员