Open-world Question Answering (OW-QA) over knowledge graphs (KGs) aims to answer questions over incomplete or evolving KGs. Traditional KGQA assumes a closed world where answers must exist in the KG, limiting real-world applicability. In contrast, open-world QA requires inferring missing knowledge based on graph structure and context. Large language models (LLMs) excel at language understanding but lack structured reasoning. Graph neural networks (GNNs) model graph topology but struggle with semantic interpretation. Existing systems integrate LLMs with GNNs or graph retrievers. Some support open-world QA but rely on structural embeddings without semantic grounding. Most assume observed paths or complete graphs, making them unreliable under missing links or multi-hop reasoning. We present GLOW, a hybrid system that combines a pre-trained GNN and an LLM for open-world KGQA. The GNN predicts top-k candidate answers from the graph structure. These, along with relevant KG facts, are serialized into a structured prompt (e.g., triples and candidates) to guide the LLM's reasoning. This enables joint reasoning over symbolic and semantic signals, without relying on retrieval or fine-tuning. To evaluate generalization, we introduce GLOW-BENCH, a 1,000-question benchmark over incomplete KGs across diverse domains. GLOW outperforms existing LLM-GNN systems on standard benchmarks and GLOW-BENCH, achieving up to 53.3% and an average 38% improvement. GitHub code and data are available.


翻译:面向知识图谱(KGs)的开放世界问答(OW-QA)旨在对不完整或动态演化的知识图谱进行问答。传统知识图谱问答假设知识图谱为封闭世界,即答案必须存在于知识图谱中,这限制了其在现实场景中的适用性。相比之下,开放世界问答需要基于图结构和上下文信息推断缺失知识。大语言模型(LLMs)擅长语言理解,但缺乏结构化推理能力;图神经网络(GNNs)擅长建模图拓扑结构,但在语义理解方面存在不足。现有系统将LLMs与GNNs或图检索器集成,部分系统虽支持开放世界问答,但依赖缺乏语义基础的结构化嵌入,且多数假设观测路径或图结构完整,导致在缺失链接或多跳推理场景下不可靠。我们提出GLOW——一种结合预训练GNN与LLM的混合系统,用于开放世界知识图谱问答。该系统通过GNN从图结构中预测最优k个候选答案,并将这些答案及相关知识图谱事实序列化为结构化提示(如三元组和候选集),引导LLM进行推理。该方法无需检索或微调即可实现符号信号与语义信号的联合推理。为评估泛化能力,我们构建了跨领域不完整知识图谱的GLOW-BENCH基准测试集(含1000个问题)。实验表明,GLOW在标准基准测试和GLOW-BENCH上均优于现有LLM-GNN系统,最高提升53.3%,平均提升38%。相关代码与数据集已在GitHub开源。

0
下载
关闭预览

相关内容

大型语言模型(LLM)赋能的知识图谱构建:综述
专知会员服务
56+阅读 · 2025年10月24日
大语言模型增强的知识图谱问答研究进展综述
专知会员服务
53+阅读 · 2024年10月6日
【CMU博士论文】混合知识架构问答系统,150页pdf
专知会员服务
41+阅读 · 2023年12月14日
开放领域知识图谱问答研究综述
专知会员服务
66+阅读 · 2021年10月30日
基于知识图谱的问答系统
PaperWeekly
21+阅读 · 2021年2月8日
ACL2020 | 基于Knowledge Embedding的多跳知识图谱问答
AI科技评论
19+阅读 · 2020年6月29日
如何独立实现一个基于知识图谱的问答系统
PaperWeekly
11+阅读 · 2019年6月13日
论文浅尝 | 基于开放世界的知识图谱补全
开放知识图谱
11+阅读 · 2018年7月3日
论文浅尝 | Open world Knowledge Graph Completion
开放知识图谱
19+阅读 · 2018年1月30日
论文动态 | 基于知识图谱的问答系统关键技术研究 #02
开放知识图谱
10+阅读 · 2017年8月6日
论文动态 | 基于知识图谱的问答系统关键技术研究 #04
开放知识图谱
10+阅读 · 2017年7月9日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
Arxiv
11+阅读 · 2023年5月15日
VIP会员
最新内容
综述 | 世界动作模型:少做梦,多行动
专知会员服务
4+阅读 · 6月23日
美以伊冲突:无人机与人工智能的运用
专知会员服务
7+阅读 · 6月23日
《特种部队在透明战场中的生存力》最新报告
专知会员服务
4+阅读 · 6月23日
综述 | 3D场景图:开放挑战与未来方向
专知会员服务
8+阅读 · 6月22日
21世纪的无人机战争
专知会员服务
4+阅读 · 6月22日
《量子技术的军事任务技术适配与利用》
专知会员服务
5+阅读 · 6月22日
相关VIP内容
相关资讯
基于知识图谱的问答系统
PaperWeekly
21+阅读 · 2021年2月8日
ACL2020 | 基于Knowledge Embedding的多跳知识图谱问答
AI科技评论
19+阅读 · 2020年6月29日
如何独立实现一个基于知识图谱的问答系统
PaperWeekly
11+阅读 · 2019年6月13日
论文浅尝 | 基于开放世界的知识图谱补全
开放知识图谱
11+阅读 · 2018年7月3日
论文浅尝 | Open world Knowledge Graph Completion
开放知识图谱
19+阅读 · 2018年1月30日
论文动态 | 基于知识图谱的问答系统关键技术研究 #02
开放知识图谱
10+阅读 · 2017年8月6日
论文动态 | 基于知识图谱的问答系统关键技术研究 #04
开放知识图谱
10+阅读 · 2017年7月9日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员