Joint entity-relation extraction (JERE) identifies both entities and their relationships simultaneously. Traditional machine-learning based approaches to performing this task require a large corpus of annotated data and lack the ability to easily incorporate domain specific information in the construction of the model. Therefore, creating a model for JERE is often labor intensive, time consuming, and elaboration intolerant. In this paper, we propose harnessing the capabilities of generative pre-trained large language models (LLMs) and the knowledge representation and reasoning capabilities of Answer Set Programming (ASP) to perform JERE. We present a generic workflow for JERE using LLMs and ASP. The workflow is generic in the sense that it can be applied for JERE in any domain. It takes advantage of LLM's capability in natural language understanding in that it works directly with unannotated text. It exploits the elaboration tolerant feature of ASP in that no modification of its core program is required when additional domain specific knowledge, in the form of type specifications, is found and needs to be used. We demonstrate the usefulness of the proposed workflow through experiments with limited training data on three well-known benchmarks for JERE. The results of our experiments show that the LLM + ASP workflow is better than state-of-the-art JERE systems in several categories with only 10% of training data. It is able to achieve a 2.5 times (35% over 15%) improvement in the Relation Extraction task for the SciERC corpus, one of the most difficult benchmarks.


翻译:联合实体关系抽取(JERE)旨在同时识别文本中的实体及其间的关系。执行此任务的传统机器学习方法需要大量标注数据,且难以在模型构建中灵活融入领域特定知识。因此,构建JERE模型通常费时费力,且难以进行扩展修正。本文提出利用生成式预训练大语言模型(LLMs)的自然语言理解能力与答案集编程(ASP)的知识表示与推理能力来执行JERE任务。我们提出了一种使用LLM与ASP的通用JERE工作流。该工作流的通用性体现在可应用于任何领域的JERE任务。它利用了LLM的自然语言理解能力,可直接处理未标注文本;同时发挥了ASP的扩展容忍特性——当发现并以类型规范形式引入额外的领域特定知识时,无需修改其核心程序。我们通过在三个知名JERE基准数据集上使用有限训练数据进行实验,验证了所提工作流的有效性。实验结果表明,在仅使用10%训练数据的情况下,LLM + ASP工作流在多个评估类别上优于当前最先进的JERE系统。在最困难的基准之一SciERC语料库的关系抽取任务中,该工作流实现了2.5倍的性能提升(从15%提升至35%)。

0
下载
关闭预览

相关内容

ASP是Active Server Page的缩写,意为“动态服务器页面”。ASP是微软公司开发的代替CGI脚本程序的一种应用,它可以与数据库和其它程序进行交互,是一种简单、方便的编程工具。
【ACL2025教程】LLM时代的合成数据,228页slides
专知会员服务
31+阅读 · 2025年7月30日
大型语言模型(LLMs),附Slides与视频
专知会员服务
70+阅读 · 2024年6月30日
《将大型语言模型(LLM)整合到海军作战规划中》
专知会员服务
129+阅读 · 2024年6月13日
「基于深度学习的实体关系联合抽取」研究综述
专知会员服务
43+阅读 · 2023年7月5日
【CCL2020】基于深度学习的实体关系抽取研究综述
专知会员服务
53+阅读 · 2020年11月4日
远程监督在关系抽取中的应用
深度学习自然语言处理
12+阅读 · 2020年10月26日
实体关系抽取方法研究综述
专知
14+阅读 · 2020年7月19日
【关系抽取】从文本中进行关系抽取的几种不同的方法
深度学习自然语言处理
29+阅读 · 2020年3月30日
【学习】 用IDCNN和CRF做端到端的中文实体识别(附代码)
机器学习研究会
68+阅读 · 2017年9月20日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关资讯
远程监督在关系抽取中的应用
深度学习自然语言处理
12+阅读 · 2020年10月26日
实体关系抽取方法研究综述
专知
14+阅读 · 2020年7月19日
【关系抽取】从文本中进行关系抽取的几种不同的方法
深度学习自然语言处理
29+阅读 · 2020年3月30日
【学习】 用IDCNN和CRF做端到端的中文实体识别(附代码)
机器学习研究会
68+阅读 · 2017年9月20日
相关基金
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员