Entity Set Expansion (ESE) is a critical task aiming to expand entities of the target semantic class described by a small seed entity set. Most existing ESE methods are retrieval-based frameworks that need to extract the contextual features of entities and calculate the similarity between seed entities and candidate entities. To achieve the two purposes, they should iteratively traverse the corpus and the entity vocabulary provided in the datasets, resulting in poor efficiency and scalability. The experimental results indicate that the time consumed by the retrieval-based ESE methods increases linearly with entity vocabulary and corpus size. In this paper, we firstly propose a generative ESE framework, Generative Entity Set Expansion (GenExpan), which utilizes a generative pre-trained language model to accomplish ESE task. Specifically, a prefix tree is employed to guarantee the validity of entity generation, and automatically generated class names are adopted to guide the model to generate target entities. Moreover, we propose Knowledge Calibration and Generative Ranking to further bridge the gap between generic knowledge of the language model and the goal of ESE task. Experiments on publicly available datasets show that GenExpan is efficient and effective. For efficiency, expansion time consumed by GenExpan is independent of entity vocabulary and corpus size, and GenExpan achieves an average 600% speedup compared to strong baselines. For expansion performance, our framework outperforms previous state-of-the-art ESE methods.


翻译:实体集合扩展(Entity Set Expansion, ESE)是一项关键任务,旨在通过少量种子实体集描述的目标语义类别来扩展实体。现有大多数ESE方法基于检索框架,需要提取实体的上下文特征,并计算种子实体与候选实体之间的相似度。为实现这两个目标,它们必须迭代遍历语料库和数据集提供的实体词汇表,导致效率低下且可扩展性差。实验结果表明,基于检索的ESE方法所消耗的时间随实体词汇表和语料库规模线性增长。本文首次提出一种生成式ESE框架——生成式实体集合扩展(Generative Entity Set Expansion, GenExpan),该框架利用生成式预训练语言模型完成ESE任务。具体而言,采用前缀树确保实体生成的有效性,并利用自动生成的类别名称引导模型生成目标实体。此外,我们提出知识校准与生成式排序,进一步弥合语言模型的通用知识与ESE任务目标之间的差距。在公开数据集上的实验表明,GenExpan兼具高效性与有效性。在效率方面,GenExpan的扩展消耗时间与实体词汇表和语料库规模无关,相比强基线方法实现平均600%的加速。在扩展性能方面,我们的框架优于先前最先进的ESE方法。

0
下载
关闭预览

相关内容

经验软件工程为应用软件工程研究提供了一个具有很强的经验成分的论坛,并为发表与研究者和实践者相关的经验结果提供了一个场所。这里提出的实证研究通常涉及数据和经验的收集和分析,这些数据和经验可用于描述、评估和揭示软件开发可交付成果、实践和技术之间的关系。随着时间的推移,预计这些经验结果将形成一个知识体系,从而形成广为接受和形成良好的理论。《华尔街日报》还提供了行业经验报告,详细介绍了软件技术(过程、方法或工具)的应用及其在工业环境中的有效性。实证软件工程促进了行业相关研究的出版,解决了研究与实践之间的巨大差距。官网地址:http://dblp.uni-trier.de/db/journals/ese/
【斯坦福大学-论文】实体上下文关系路径的知识图谱补全
论文浅尝 | Neural-Symbolic Models for Logical Queries on KG
开放知识图谱
0+阅读 · 2022年10月31日
论文浅尝 | 记忆推理:最近邻知识图谱嵌入
开放知识图谱
2+阅读 · 2022年7月23日
一文带你浏览Graph Transformers
PaperWeekly
1+阅读 · 2022年7月8日
征稿 | International Joint Conference on Knowledge Graphs (IJCKG)
开放知识图谱
2+阅读 · 2022年5月20日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
论文浅尝 | Zero-Shot Transfer Learning for Event Extraction
开放知识图谱
26+阅读 · 2018年11月1日
笔记 | Deep active learning for named entity recognition
黑龙江大学自然语言处理实验室
24+阅读 · 2018年5月27日
论文浅尝 | Open world Knowledge Graph Completion
开放知识图谱
19+阅读 · 2018年1月30日
论文浅尝 | Question Answering over Freebase
开放知识图谱
19+阅读 · 2018年1月9日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
6+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
2+阅读 · 2011年12月31日
国家自然科学基金
7+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
Arxiv
16+阅读 · 2021年11月27日
Efficiently Embedding Dynamic Knowledge Graphs
Arxiv
14+阅读 · 2019年10月15日
VIP会员
最新内容
《通过小型无人机系统将情报能力“作战化”》
专知会员服务
3+阅读 · 今天7:28
消耗优势:美军的“精确规模化”概念
专知会员服务
7+阅读 · 6月15日
《离线语言支持系统:面向空战战术决策》
专知会员服务
8+阅读 · 6月15日
俄乌战场地面机器人如何改写战争规则
专知会员服务
9+阅读 · 6月14日
相关VIP内容
【斯坦福大学-论文】实体上下文关系路径的知识图谱补全
相关资讯
论文浅尝 | Neural-Symbolic Models for Logical Queries on KG
开放知识图谱
0+阅读 · 2022年10月31日
论文浅尝 | 记忆推理:最近邻知识图谱嵌入
开放知识图谱
2+阅读 · 2022年7月23日
一文带你浏览Graph Transformers
PaperWeekly
1+阅读 · 2022年7月8日
征稿 | International Joint Conference on Knowledge Graphs (IJCKG)
开放知识图谱
2+阅读 · 2022年5月20日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
论文浅尝 | Zero-Shot Transfer Learning for Event Extraction
开放知识图谱
26+阅读 · 2018年11月1日
笔记 | Deep active learning for named entity recognition
黑龙江大学自然语言处理实验室
24+阅读 · 2018年5月27日
论文浅尝 | Open world Knowledge Graph Completion
开放知识图谱
19+阅读 · 2018年1月30日
论文浅尝 | Question Answering over Freebase
开放知识图谱
19+阅读 · 2018年1月9日
相关基金
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
6+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
2+阅读 · 2011年12月31日
国家自然科学基金
7+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员