We introduce CogRE, a novel framework for relation extraction (RE), enhancing RE from both accuracy and explainability. The framework has two key components: (i) a reasoning mechanism that formulates relation extraction as a series of text-processing steps inspired by cognitive science, and (ii) an optimization process driven by a novel reinforcement learning (RL) reward function. Our framework introduces relation keywords and rewards generating such keywords using an automatically constructed keywords dictionary. This design addresses the lack of language-based explanations in traditional RE and provides supervision for explanation during RL training. Our experiments show that CogRE improves explanation quality by addressing two common failure patterns in one-shot RE: poor attention focus and limited one-shot learning capability. For example, our cognitive-structured reasoning with Qwen2.5-15B-Instruct on One-shot NYT29 achieves 24.65% F1, surpassing prior reasoning-based designs. Optimizing this approach with RL using our reward further improves performance by +23.46% (absolute). Further, models trained on NYT29 with our reward achieve a +16.9% F1 gain on out-of-distribution WIKIDATA. Finally, human evaluation shows that our best model generates relational keywords closely aligned with gold labels, increasing human explanation quality ratings by 54% (relative).


翻译:我们提出CogRE,一种新颖的关系抽取框架,从准确性和可解释性两方面增强关系抽取。该框架包含两个关键组件:(i) 受认知科学启发的推理机制,将关系抽取形式化为一系列文本处理步骤;(ii) 由新型强化学习奖励函数驱动的优化过程。本框架引入关系关键词,并通过自动构建的关键词词典奖励生成此类关键词。该设计解决了传统关系抽取中缺乏基于语言的解释的问题,并在强化学习训练期间为解释提供监督。实验表明,CogRE通过解决单样本关系抽取中两种常见失效模式——注意力聚焦不良和单样本学习能力有限——提升了解释质量。例如,我们基于Qwen2.5-15B-Instruct的认知结构化推理在One-shot NYT29数据集上达到24.65%的F1值,超越了先前基于推理的设计。使用我们的奖励函数通过强化学习优化该方法,性能进一步提升了+23.46%(绝对值)。此外,在NYT29数据集上使用我们的奖励函数训练的模型,在分布外数据集WIKIDATA上实现了+16.9%的F1增益。最后,人工评估表明,我们的最佳模型生成的关系关键词与黄金标注高度吻合,将人工解释质量评分提升了54%(相对值)。

0
下载
关闭预览

相关内容

关系抽取指的是检测和识别文本中实体之间的语义关系,并将表示同一语义关系的提及(mention)链接起来的任务。关系提取任务需要在一组工件(通常来自文本或XML文档)中对语义关系提及进行检测和分类。该任务与信息抽取(IE)的任务非常相似,但是IE还需要删除重复关系(消除歧义),并且通常指的是提取许多不同的关系。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
「基于深度学习的实体关系联合抽取」研究综述
专知会员服务
43+阅读 · 2023年7月5日
专知会员服务
80+阅读 · 2021年5月27日
【CCL2020】基于深度学习的实体关系抽取研究综述
专知会员服务
53+阅读 · 2020年11月4日
可解释强化学习,Explainable Reinforcement Learning: A Survey
专知会员服务
132+阅读 · 2020年5月14日
远程监督在关系抽取中的应用
深度学习自然语言处理
12+阅读 · 2020年10月26日
【关系抽取】从文本中进行关系抽取的几种不同的方法
深度学习自然语言处理
29+阅读 · 2020年3月30日
OpenNRE 2.0:可一键运行的开源关系抽取工具包
PaperWeekly
22+阅读 · 2019年10月30日
AAAI 2019 | 基于分层强化学习的关系抽取
PaperWeekly
20+阅读 · 2019年3月27日
大讲堂 | 神经关系抽取模型
AI研习社
24+阅读 · 2018年9月11日
基于图片内容的深度学习图片检索(一)
七月在线实验室
20+阅读 · 2017年10月1日
关系推理:基于表示学习和语义要素
计算机研究与发展
19+阅读 · 2017年8月22日
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
42+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
国家自然科学基金
23+阅读 · 2009年12月31日
VIP会员
相关VIP内容
「基于深度学习的实体关系联合抽取」研究综述
专知会员服务
43+阅读 · 2023年7月5日
专知会员服务
80+阅读 · 2021年5月27日
【CCL2020】基于深度学习的实体关系抽取研究综述
专知会员服务
53+阅读 · 2020年11月4日
可解释强化学习,Explainable Reinforcement Learning: A Survey
专知会员服务
132+阅读 · 2020年5月14日
相关资讯
远程监督在关系抽取中的应用
深度学习自然语言处理
12+阅读 · 2020年10月26日
【关系抽取】从文本中进行关系抽取的几种不同的方法
深度学习自然语言处理
29+阅读 · 2020年3月30日
OpenNRE 2.0:可一键运行的开源关系抽取工具包
PaperWeekly
22+阅读 · 2019年10月30日
AAAI 2019 | 基于分层强化学习的关系抽取
PaperWeekly
20+阅读 · 2019年3月27日
大讲堂 | 神经关系抽取模型
AI研习社
24+阅读 · 2018年9月11日
基于图片内容的深度学习图片检索(一)
七月在线实验室
20+阅读 · 2017年10月1日
关系推理:基于表示学习和语义要素
计算机研究与发展
19+阅读 · 2017年8月22日
相关基金
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
42+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
国家自然科学基金
23+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员