Integrating new data into knowledge graphs (KG) typically involves different tasks that are executed within workflows or pipelines There are many possible pipelines for a specific integration problem but there is not yet a general approach to evaluate the overall quality and performance of such pipelines to be able to determine the best choices. We therefore propose a new benchmark KGI-Bench to evaluate integration pipelines that ingest different kinds of input data into an existing KG. We evaluate pipelines by analyzing their output, i.e., the updated KG, with the three complementary quality metrics coverage, correctness and consistency. We also provide benchmark datasets (seed KG, overlapping input data of three formats, reference KG as a ground truth) for the movie domain. To demonstrate the applicability and usefulness of the proposed benchmark, we comparatively evaluate 12 pipelines and analyze their behavior across different input data formats and design choices.


翻译:将新数据集成为知识图谱通常涉及构建工作流或管道中的不同任务。针对特定集成问题存在多种可能的流程,但目前尚无通用方法评估此类流程的整体质量与性能以确定最佳选择。为此,我们提出新基准KGI-Bench,用于评估将不同类型输入数据接入现有知识图谱的集成流程。我们通过分析流程输出(即更新后的知识图谱),采用覆盖度、正确性和一致性三个互补质量指标进行评估。同时提供面向电影领域的基准数据集(种子知识图谱、三种格式的重叠输入数据、作为标准答案的参考知识图谱)。为验证所提基准的适用性与实用性,我们对比评估了12种流程,并分析了它们在不同输入数据格式与设计选择下的行为特征。

0
下载
关闭预览

相关内容

Integration:Integration, the VLSI Journal。 Explanation:集成,VLSI杂志。 Publisher:Elsevier。 SIT:http://dblp.uni-trier.de/db/journals/integration/
知识图谱基础模型的数学基础
专知会员服务
41+阅读 · 2025年1月12日
面向关系型数据与知识图谱的数据集成技术综述
专知会员服务
54+阅读 · 2022年12月30日
知识图谱表示学习的对抗鲁棒性
专知会员服务
40+阅读 · 2022年10月7日
基于图神经网络的知识图谱研究进展
AI科技评论
21+阅读 · 2020年8月31日
【知识图谱】 一个有效的知识图谱是如何构建的?
产业智能官
57+阅读 · 2018年4月5日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
17+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2014年12月31日
Arxiv
11+阅读 · 2023年5月15日
VIP会员
最新内容
乌克兰无人机饱和战场中的错误教训
专知会员服务
17+阅读 · 11月17日
面向最后一战术英里:美军无人机创新尝试
专知会员服务
14+阅读 · 11月17日
《美空军2026条令文件:对海压制作战》
专知会员服务
30+阅读 · 11月9日
人工智能与战争的未来
专知会员服务
13+阅读 · 11月8日
《Agent Mosaic:识别智能体LLM系统中的机密泄露》
专知会员服务
14+阅读 · 11月8日
相关VIP内容
知识图谱基础模型的数学基础
专知会员服务
41+阅读 · 2025年1月12日
面向关系型数据与知识图谱的数据集成技术综述
专知会员服务
54+阅读 · 2022年12月30日
知识图谱表示学习的对抗鲁棒性
专知会员服务
40+阅读 · 2022年10月7日
相关基金
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
17+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员