Effective biomedical information retrieval requires modeling domain semantics and hierarchical relationships among biomedical texts. Existing biomedical generative retrievers build on coarse binary relevance signals, limiting their ability to capture semantic overlap. We propose BioHiCL (Biomedical Retrieval with Hierarchical Multi-Label Contrastive Learning), which leverages hierarchical MeSH annotations to provide structured supervision for multi-label contrastive learning. Our models, BioHiCL-Base (0.1B) and BioHiCL-Large (0.3B), achieve promising performance on biomedical retrieval, sentence similarity, and question answering tasks, while remaining computationally efficient for deployment.


翻译:摘要:有效的生物医学信息检索需要建模生物医学文本的领域语义及层次关系。现有生物医学生成式检索器依赖于粗粒度的二值相关性信号,这限制了其捕获语义重叠的能力。我们提出BioHiCL(基于分层多标签对比学习的生物医学检索),该方法利用分层的MeSH注释为多标签对比学习提供结构化监督。我们的模型BioHiCL-Base(0.1B)和BioHiCL-Large(0.3B)在生物医学检索、句子相似度及问答任务上取得了卓越性能,同时保持了计算效率,便于实际部署。

0
下载
关闭预览

相关内容

具有动能的生命体。
标签高效深度学习的医学图像分析:挑战与未来方向
专知会员服务
35+阅读 · 2023年4月3日
KDD 2021 | MoCL:利用多层次领域知识的分子图对比学习
专知会员服务
12+阅读 · 2022年5月20日
【ICCV2021】多层次对比学习的跨模态检索方法
专知会员服务
23+阅读 · 2021年10月24日
最新「图机器学习药物发现」综述论文,22页pdf245篇文献
专知会员服务
100+阅读 · 2021年5月24日
读书报告 | Deep Learning for Extreme Multi-label Text Classification
科技创新与创业
48+阅读 · 2018年1月10日
基于图片内容的深度学习图片检索(一)
七月在线实验室
20+阅读 · 2017年10月1日
国家自然科学基金
23+阅读 · 2016年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
VIP会员
最新内容
ICML 2026 | CFPO:用反事实策略优化提升多模态推理
专知会员服务
1+阅读 · 今天14:45
综述 | 世界动作模型:少做梦,多行动
专知会员服务
1+阅读 · 今天14:43
美以伊冲突:无人机与人工智能的运用
专知会员服务
3+阅读 · 今天14:31
《特种部队在透明战场中的生存力》最新报告
专知会员服务
2+阅读 · 今天14:11
《人工智能生成的零日漏洞:对未来作战的影响》
综述 | 3D场景图:开放挑战与未来方向
专知会员服务
8+阅读 · 6月22日
21世纪的无人机战争
专知会员服务
4+阅读 · 6月22日
《量子技术的军事任务技术适配与利用》
专知会员服务
5+阅读 · 6月22日
相关VIP内容
标签高效深度学习的医学图像分析:挑战与未来方向
专知会员服务
35+阅读 · 2023年4月3日
KDD 2021 | MoCL:利用多层次领域知识的分子图对比学习
专知会员服务
12+阅读 · 2022年5月20日
【ICCV2021】多层次对比学习的跨模态检索方法
专知会员服务
23+阅读 · 2021年10月24日
最新「图机器学习药物发现」综述论文,22页pdf245篇文献
专知会员服务
100+阅读 · 2021年5月24日
相关资讯
读书报告 | Deep Learning for Extreme Multi-label Text Classification
科技创新与创业
48+阅读 · 2018年1月10日
基于图片内容的深度学习图片检索(一)
七月在线实验室
20+阅读 · 2017年10月1日
相关基金
国家自然科学基金
23+阅读 · 2016年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员