Biomedical relation extraction (BioRE) is a key step in transforming biomedical literature into structured knowledge. However, most existing approaches rely on supervised models trained on costly annotated datasets, limiting their scalability and adaptability across relation types and domains. We investigate few-shot BioRE using prompt-based learning with large language models (LLMs) and compare two task formulations: pairwise classification, which predicts relations for individual entity pairs, and joint generation, which extracts multiple relations in a single model call. Experiments on the BioREDirect dataset reveal a clear precision-recall trade-off. Pairwise classification achieves higher recall, whereas joint generation is more precise and computationally efficient. The best-performing model achieves a micro-F1 score of 0.44, substantially outperforming previous few-shot results (0.34) while remaining below the supervised baseline (0.56). Much of this gap is attributable to a single ambiguously defined relation type. When evaluated using macro-F1, which better captures performance across relation types in an imbalanced setting, prompt-based approaches outperform the supervised baseline (0.45 vs. 0.38), particularly on rare relation types. These findings highlight the potential of LLMs for BioRE in low-resource settings and underscore the importance of well-defined relation schemas.


翻译:生物医学关系抽取(BioRE)是将生物医学文献转化为结构化知识的关键步骤。然而,现有方法大多依赖基于昂贵标注数据集训练的监督模型,这限制了其在多种关系类型和领域中的可扩展性与适应性。我们研究了基于提示学习的大语言模型(LLM)在少样本BioRE中的应用,并比较了两种任务形式:成对分类(预测单个实体对的关系)和联合生成(通过单次模型调用提取多个关系)。在BioREDirect数据集上的实验揭示了明确的精度-召回权衡:成对分类召回率更高,而联合生成精度更高且计算效率更优。最优模型的微平均F1分数达0.44,显著超越先前少样本方法(0.34),但仍低于监督基线(0.56)。该性能差距主要源于某单一模糊定义的关系类型。当采用更能在非均衡场景下捕捉各类型性能的宏平均F1评估时,基于提示的方法优于监督基线(0.45 vs. 0.38),尤其在稀有关系类型上表现突出。这些发现凸显了大语言模型在低资源场景下进行BioRE的潜力,并强调了定义清晰关系模式的重要性。

0
下载
关闭预览

相关内容

医学领域大型语言模型的新进展
专知会员服务
25+阅读 · 2025年10月5日
大规模语言模型在生物信息学中的应用
专知会员服务
18+阅读 · 2025年1月16日
基于语言模型增强的中文关系抽取方法
专知会员服务
57+阅读 · 2023年9月18日
专知会员服务
38+阅读 · 2021年9月15日
远程监督在关系抽取中的应用
深度学习自然语言处理
12+阅读 · 2020年10月26日
【关系抽取】从文本中进行关系抽取的几种不同的方法
深度学习自然语言处理
29+阅读 · 2020年3月30日
大讲堂 | 神经关系抽取模型
AI研习社
24+阅读 · 2018年9月11日
论文浅尝 | 远程监督关系抽取的生成式对抗训练
开放知识图谱
17+阅读 · 2018年7月12日
国家自然科学基金
23+阅读 · 2016年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
最新内容
综述 | 世界动作模型:少做梦,多行动
专知会员服务
4+阅读 · 6月23日
美以伊冲突:无人机与人工智能的运用
专知会员服务
7+阅读 · 6月23日
《特种部队在透明战场中的生存力》最新报告
专知会员服务
4+阅读 · 6月23日
综述 | 3D场景图:开放挑战与未来方向
专知会员服务
8+阅读 · 6月22日
21世纪的无人机战争
专知会员服务
4+阅读 · 6月22日
《量子技术的军事任务技术适配与利用》
专知会员服务
5+阅读 · 6月22日
相关VIP内容
医学领域大型语言模型的新进展
专知会员服务
25+阅读 · 2025年10月5日
大规模语言模型在生物信息学中的应用
专知会员服务
18+阅读 · 2025年1月16日
基于语言模型增强的中文关系抽取方法
专知会员服务
57+阅读 · 2023年9月18日
专知会员服务
38+阅读 · 2021年9月15日
相关基金
国家自然科学基金
23+阅读 · 2016年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员