Relation Extraction (RE) is a crucial task in Information Extraction, which entails predicting relationships between entities within a given sentence. However, extending pre-trained RE models to other languages is challenging, particularly in real-world scenarios where Cross-Lingual Relation Extraction (XRE) is required. Despite recent advancements in Prompt-Learning, which involves transferring knowledge from Multilingual Pre-trained Language Models (PLMs) to diverse downstream tasks, there is limited research on the effective use of multilingual PLMs with prompts to improve XRE. In this paper, we present a novel XRE algorithm based on Prompt-Tuning, referred to as Prompt-XRE. To evaluate its effectiveness, we design and implement several prompt templates, including hard, soft, and hybrid prompts, and empirically test their performance on competitive multilingual PLMs, specifically mBART. Our extensive experiments, conducted on the low-resource ACE05 benchmark across multiple languages, demonstrate that our Prompt-XRE algorithm significantly outperforms both vanilla multilingual PLMs and other existing models, achieving state-of-the-art performance in XRE. To further show the generalization of our Prompt-XRE on larger data scales, we construct and release a new XRE dataset- WMT17-EnZh XRE, containing 0.9M English-Chinese pairs extracted from WMT 2017 parallel corpus. Experiments on WMT17-EnZh XRE also show the effectiveness of our Prompt-XRE against other competitive baselines. The code and newly constructed dataset are freely available at \url{https://github.com/HSU-CHIA-MING/Prompt-XRE}.


翻译:关系抽取是信息抽取中的关键任务,旨在预测给定句子中实体间的关系。然而,将预训练关系抽取模型扩展到其他语言具有挑战性,尤其在需要跨语言关系抽取的真实场景中。尽管提示学习近期取得进展——该方法将多语言预训练语言模型的知识迁移至多样下游任务——但关于如何有效利用带提示的多语言预训练语言模型改进跨语言关系抽取的研究仍较为有限。本文提出一种基于提示调优的新型跨语言关系抽取算法Prompt-XRE。为评估其有效性,我们设计并实现了包括硬提示、软提示及混合提示在内的多种提示模板,并在竞争性多语言预训练语言模型(特别是mBART)上进行了实证测试。基于低资源ACE05基准在多种语言上的大量实验表明,Prompt-XRE算法显著优于原始多语言预训练语言模型及其他现有模型,在跨语言关系抽取任务中达到了最优性能。为进一步验证Prompt-XRE在更大数据规模上的泛化能力,我们构建并发布了一个新的跨语言关系抽取数据集WMT17-EnZh XRE,该数据集包含从WMT 2017平行语料库中提取的90万英汉句子对。在WMT17-EnZh XRE上的实验同样证明了Prompt-XRE相较于其他竞争基线的有效性。相关代码及新构建的数据集已在\url{https://github.com/HSU-CHIA-MING/Prompt-XRE}上开源。

0
下载
关闭预览

相关内容

【COMPTEXT2022教程】跨语言监督文本分类,41页ppt
专知会员服务
18+阅读 · 2022年6月14日
【CIKM2021】用领域知识增强预训练语言模型的问题回答
专知会员服务
17+阅读 · 2021年11月18日
【论文推荐】文本摘要简述
专知会员服务
69+阅读 · 2020年7月20日
100+篇《自监督学习(Self-Supervised Learning)》论文最新合集
专知会员服务
167+阅读 · 2020年3月18日
强化学习最新教程,17页pdf
专知会员服务
182+阅读 · 2019年10月11日
【ACL2020放榜!】事件抽取、关系抽取、NER、Few-Shot 相关论文整理
深度学习自然语言处理
18+阅读 · 2020年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
论文浅尝 | Global Relation Embedding for Relation Extraction
开放知识图谱
12+阅读 · 2019年3月3日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
2+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
3+阅读 · 2008年12月31日
国家自然科学基金
5+阅读 · 2008年12月31日
Few-shot Learning: A Survey
Arxiv
364+阅读 · 2019年4月10日
Arxiv
10+阅读 · 2018年4月19日
Arxiv
10+阅读 · 2017年7月4日
VIP会员
最新内容
俄罗斯如何拦截乌克兰无人机与巡航导弹
专知会员服务
8+阅读 · 10月15日
《武器-目标分配问题:精确与近似求解算法》
专知会员服务
11+阅读 · 10月15日
综述|谁来改进机器人?迈向物理递归自我改进
专知会员服务
10+阅读 · 10月14日
软件定义无人机蜂群给防空带来全新压力
专知会员服务
10+阅读 · 10月13日
《半自主无人地面战车的互操作性》66页
专知会员服务
14+阅读 · 10月13日
相关基金
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
2+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
3+阅读 · 2008年12月31日
国家自然科学基金
5+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员