Relation Extraction (RE) is a crucial task in Information Extraction, which entails predicting relationships between entities within a given sentence. However, extending pre-trained RE models to other languages is challenging, particularly in real-world scenarios where Cross-Lingual Relation Extraction (XRE) is required. Despite recent advancements in Prompt-Learning, which involves transferring knowledge from Multilingual Pre-trained Language Models (PLMs) to diverse downstream tasks, there is limited research on the effective use of multilingual PLMs with prompts to improve XRE. In this paper, we present a novel XRE algorithm based on Prompt-Tuning, referred to as Prompt-XRE. To evaluate its effectiveness, we design and implement several prompt templates, including hard, soft, and hybrid prompts, and empirically test their performance on competitive multilingual PLMs, specifically mBART. Our extensive experiments, conducted on the low-resource ACE05 benchmark across multiple languages, demonstrate that our Prompt-XRE algorithm significantly outperforms both vanilla multilingual PLMs and other existing models, achieving state-of-the-art performance in XRE. To further show the generalization of our Prompt-XRE on larger data scales, we construct and release a new XRE dataset- WMT17-EnZh XRE, containing 0.9M English-Chinese pairs extracted from WMT 2017 parallel corpus. Experiments on WMT17-EnZh XRE also show the effectiveness of our Prompt-XRE against other competitive baselines. The code and newly constructed dataset are freely available at \url{https://github.com/HSU-CHIA-MING/Prompt-XRE}.


翻译:关系抽取是信息抽取中的关键任务,旨在预测给定句子中实体间的关系。然而,将预训练关系抽取模型扩展到其他语言具有挑战性,尤其在需要跨语言关系抽取的真实场景中。尽管提示学习近期取得进展——该方法将多语言预训练语言模型的知识迁移至多样下游任务——但关于如何有效利用带提示的多语言预训练语言模型改进跨语言关系抽取的研究仍较为有限。本文提出一种基于提示调优的新型跨语言关系抽取算法Prompt-XRE。为评估其有效性,我们设计并实现了包括硬提示、软提示及混合提示在内的多种提示模板,并在竞争性多语言预训练语言模型(特别是mBART)上进行了实证测试。基于低资源ACE05基准在多种语言上的大量实验表明,Prompt-XRE算法显著优于原始多语言预训练语言模型及其他现有模型,在跨语言关系抽取任务中达到了最优性能。为进一步验证Prompt-XRE在更大数据规模上的泛化能力,我们构建并发布了一个新的跨语言关系抽取数据集WMT17-EnZh XRE,该数据集包含从WMT 2017平行语料库中提取的90万英汉句子对。在WMT17-EnZh XRE上的实验同样证明了Prompt-XRE相较于其他竞争基线的有效性。相关代码及新构建的数据集已在\url{https://github.com/HSU-CHIA-MING/Prompt-XRE}上开源。

0
下载
关闭预览

相关内容

【COMPTEXT2022教程】跨语言监督文本分类,41页ppt
专知会员服务
18+阅读 · 2022年6月14日
【CIKM2021】用领域知识增强预训练语言模型的问题回答
专知会员服务
17+阅读 · 2021年11月18日
【论文推荐】文本摘要简述
专知会员服务
69+阅读 · 2020年7月20日
100+篇《自监督学习(Self-Supervised Learning)》论文最新合集
专知会员服务
167+阅读 · 2020年3月18日
强化学习最新教程,17页pdf
专知会员服务
182+阅读 · 2019年10月11日
【ACL2020放榜!】事件抽取、关系抽取、NER、Few-Shot 相关论文整理
深度学习自然语言处理
18+阅读 · 2020年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
论文浅尝 | Global Relation Embedding for Relation Extraction
开放知识图谱
12+阅读 · 2019年3月3日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
2+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
3+阅读 · 2008年12月31日
国家自然科学基金
5+阅读 · 2008年12月31日
Few-shot Learning: A Survey
Arxiv
363+阅读 · 2019年4月10日
Arxiv
10+阅读 · 2018年4月19日
Arxiv
10+阅读 · 2017年7月4日
VIP会员
最新内容
俄乌战争中关于中程打击无人机部署的经验启示
专知会员服务
0+阅读 · 13分钟前
《基于强化学习的自动化红队测试》
专知会员服务
4+阅读 · 7月23日
伊朗不对称防空战略的演进
专知会员服务
4+阅读 · 7月23日
对抗环境下超视距目标打击的情报支援
专知会员服务
10+阅读 · 7月22日
《无人机对海面作战影响评估》
专知会员服务
15+阅读 · 7月21日
相关基金
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
2+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
3+阅读 · 2008年12月31日
国家自然科学基金
5+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员