Despite the remarkable reasoning capabilities of large language models, they still struggle with one-shot relation extraction without predefined relation labels. We identify two pitfalls: models are often misled by irrelevant tokens instead of relation-conveying semantics, and they often fail to align with the abstraction level human annotators expect. We introduce a novel framework that closes this gap with two components: (1) COGRE, a cognitively-inspired reasoning framework that structures RE into a series of processes mimicking human text-processing; and (2) HIT@DICT, a reinforcement learning intermediate reward strategy that encourages reasoning to align with relational labels by rewarding relation-relevant phrases in reasoning. The reward is derived on a credit dictionary automatically extracted from correct predictions. Our experiments show that our framework improves both accuracy and explanation quality by addressing these two pitfalls. For example, COGRE with Qwen2.5-14B-Instruct on One-shot NYT29 achieves 24.65% F1, surpassing prior reasoning-based designs. Optimizing this approach with RL using HIT@DICT further improves performance by +23.46% points. Finally, human evaluation shows that our best model generates relational phrases closely aligned with gold labels, increasing human explanation quality ratings by 54% (relative).


翻译:尽管大语言模型具有显著的推理能力,但在无预定义关系标签的一次性关系抽取任务中仍存在困难。我们识别出两个缺陷:模型常被无关词元而非传递关系的语义误导,且往往无法与人类标注者预期的抽象层级对齐。我们提出一种新框架,通过两个组件弥合这一差距:(1)COGRE,一种受认知启发的推理框架,将关系抽取建模为模仿人类文本处理的一系列过程;(2)HIT@DICT,一种强化学习中间奖励策略,通过奖励推理中与关系相关的短语,促使推理过程与关系标签对齐。该奖励基于从正确预测中自动提取的信用词典衍生。实验表明,我们的框架通过解决这两个缺陷,同时提升了准确性与解释质量。例如,基于Qwen2.5-14B-Instruct的COGRE在一次性NYT29数据集上达到24.65%的F1值,超越先前基于推理的设计。使用HIT@DICT强化学习优化该方法后,性能进一步提升了23.46个百分点。最终,人工评估显示,我们最优模型生成的关系短语与黄金标签高度一致,使人类解释质量评分相对提升54%。

0
下载
关闭预览

相关内容

关系抽取指的是检测和识别文本中实体之间的语义关系,并将表示同一语义关系的提及(mention)链接起来的任务。关系提取任务需要在一组工件(通常来自文本或XML文档)中对语义关系提及进行检测和分类。该任务与信息抽取(IE)的任务非常相似,但是IE还需要删除重复关系(消除歧义),并且通常指的是提取许多不同的关系。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
Transformers 出现以来关系抽取任务的系统综述
专知会员服务
28+阅读 · 2025年11月8日
基于语言模型增强的中文关系抽取方法
专知会员服务
57+阅读 · 2023年9月18日
「基于深度学习的实体关系联合抽取」研究综述
专知会员服务
43+阅读 · 2023年7月5日
专知会员服务
36+阅读 · 2021年8月19日
专知会员服务
80+阅读 · 2021年5月27日
【CCL2020】基于深度学习的实体关系抽取研究综述
专知会员服务
53+阅读 · 2020年11月4日
实体关系抽取方法研究综述
专知会员服务
178+阅读 · 2020年7月19日
远程监督在关系抽取中的应用
深度学习自然语言处理
12+阅读 · 2020年10月26日
实体关系抽取方法研究综述
专知
14+阅读 · 2020年7月19日
【关系抽取】从文本中进行关系抽取的几种不同的方法
深度学习自然语言处理
29+阅读 · 2020年3月30日
知识图谱构建-关系抽取和属性抽取
深度学习自然语言处理
27+阅读 · 2020年3月1日
技术动态 | 跨句多元关系抽取
开放知识图谱
50+阅读 · 2019年10月24日
大讲堂 | 神经关系抽取模型
AI研习社
24+阅读 · 2018年9月11日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
VIP会员
最新内容
战力倍增器:自主武器系统与乌克兰及加沙冲突
人工智能赋能战场情报:提速决策进程
专知会员服务
1+阅读 · 7月17日
《拥抱新兴技术:面向未来军官的教育革新》
专知会员服务
3+阅读 · 7月17日
《无人地面战车(UGV)的崛起》报告
专知会员服务
7+阅读 · 7月16日
美陆军任务式指挥人工智能解决方案
专知会员服务
11+阅读 · 7月16日
相关VIP内容
Transformers 出现以来关系抽取任务的系统综述
专知会员服务
28+阅读 · 2025年11月8日
基于语言模型增强的中文关系抽取方法
专知会员服务
57+阅读 · 2023年9月18日
「基于深度学习的实体关系联合抽取」研究综述
专知会员服务
43+阅读 · 2023年7月5日
专知会员服务
36+阅读 · 2021年8月19日
专知会员服务
80+阅读 · 2021年5月27日
【CCL2020】基于深度学习的实体关系抽取研究综述
专知会员服务
53+阅读 · 2020年11月4日
实体关系抽取方法研究综述
专知会员服务
178+阅读 · 2020年7月19日
相关资讯
远程监督在关系抽取中的应用
深度学习自然语言处理
12+阅读 · 2020年10月26日
实体关系抽取方法研究综述
专知
14+阅读 · 2020年7月19日
【关系抽取】从文本中进行关系抽取的几种不同的方法
深度学习自然语言处理
29+阅读 · 2020年3月30日
知识图谱构建-关系抽取和属性抽取
深度学习自然语言处理
27+阅读 · 2020年3月1日
技术动态 | 跨句多元关系抽取
开放知识图谱
50+阅读 · 2019年10月24日
大讲堂 | 神经关系抽取模型
AI研习社
24+阅读 · 2018年9月11日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员