Knowledge graphs (KGs) have become the core backbone of numerous downstream tasks such as question answering and recommender systems. However, despite all this, KGs are often very incomplete. To perform zero-shot knowledge graph completion in unseen KGs, which have different relational vocabularies from those used for pre-training, KG foundation models (KGFMs) receive a wide range of attention. Existing KGFMs often perform training using random negative triples, which are constructed by replacing the head or tail entity of a positive triple with a random entity. However, these negative triples are often constructed with limited quality, providing weak supervision for KGFM training. In this paper, we propose a simple yet effective adaptive negative sampling approach, KMAS, to enhance existing KGFMs. KMAS constructs hard negative triples through the updated relation embeddings generated from the existing KGFM's relation encoder. To further adaptively align with the evolving capability of the KGFM during the training process, KMAS adjusts the ratio of hard negative triples dynamically throughout the whole training process: after a warmup phrase, it increases the ratio linearly and then decreases linearly. Extensive experiments are conducted over 44 data sets. Experimental results demonstrate that our proposed negative sampling method can enhance many SOTA KGFMs without requiring excessive additional time or memory consumption.


翻译:知识图谱(KGs)已成为问答系统和推荐系统等众多下游任务的核心支撑。尽管作用显著,但知识图谱往往存在严重不完整性问题。为在未见过的、具有不同于预训练时关系词汇的知识图谱中执行零样本知识图谱补全,知识图谱基础模型(KGFMs)受到了广泛关注。现有KGFMs通常采用随机负三元组进行训练,这些负三元组通过将正三元组的头实体或尾实体替换为随机实体构建而成。然而,此类负三元组质量有限,无法为KGFM训练提供有效的监督信号。本文提出一种简单而有效的自适应负采样方法KMAS,用于增强现有KGFMs。KMAS通过从现有KGFM的关系编码器生成的更新关系嵌入中构建困难负三元组。为进一步与训练过程中KGFM不断演进的能力自适应对齐,KMAS在整个训练过程中动态调整困难负三元组的比例:经过预热阶段后,该比例呈线性递增再线性递减。我们在44个数据集上进行了大量实验。实验结果表明,所提出的负采样方法能够在无需显著增加额外时间或内存消耗的情况下,有效增强多种当前最优的KGFMs。

0
下载
关闭预览

相关内容

知识图谱基础模型的数学基础
专知会员服务
41+阅读 · 2025年1月12日
大语言模型增强的知识图谱问答研究进展综述
专知会员服务
53+阅读 · 2024年10月6日
知识图谱KG在NLP的十年研究进展综述
专知
17+阅读 · 2022年10月4日
基于图神经网络的知识图谱研究进展
AI科技评论
21+阅读 · 2020年8月31日
大讲堂 | 知识图谱的嵌入:更好更快的负采样
AI研习社
13+阅读 · 2019年3月6日
国家自然科学基金
18+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
18+阅读 · 2014年12月31日
Arxiv
11+阅读 · 2023年5月15日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
1+阅读 · 今天14:45
定向能反无人机系统最新发展动态
专知会员服务
4+阅读 · 今天13:50
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
3+阅读 · 今天13:33
相关VIP内容
知识图谱基础模型的数学基础
专知会员服务
41+阅读 · 2025年1月12日
大语言模型增强的知识图谱问答研究进展综述
专知会员服务
53+阅读 · 2024年10月6日
相关基金
国家自然科学基金
18+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
18+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员