Incomplete Knowledge Graph Question Answering (IKGQA) requires completing missing edges to continue reasoning. A growing line of work verifies completed edges against retrieved text, treating textual support as a proxy for edge quality. We ask a question that, to our knowledge, has not been systematically tested: does textual verifiability actually track correctness? Exploiting the gold deleted triples provided by the standard random-deletion protocol, we measure both. The finding is counterintuitive: among gold-correct completed edges, 76-96% have no supporting passage even under exhaustive retrieval, robustly across deletion rates (20%/40%), datasets (CWQ/WebQSP), and relation types (structural, commonsense, long-tail). Most Freebase-style facts simply do not occur as head-tail co-mentions in text. Textual faithfulness therefore measures provenance, not correctness -- separated by a paradigm-level gap no in-corpus retrieval closes. This reframes edge completion. Since most completed edges -- correct or not -- are causally redundant for the answer (95-97% of correct answers do not depend on any unsupported edge), the central question shifts from "is the edge correct?" to "admit or abstain under provenance uncertainty?" Within this framing we present TGComplete, a provenance-favoring admission policy that retrieves evidence at a reasoning breakpoint, verifies a candidate through a lightweight loop, and abstains when support is absent. Against the generate-to-complete baseline GoG, it attains higher edge precision against gold (15-21% vs 3-14%), with no statistically detectable EM loss and 3.1-7.4 times higher strict faithfulness of admitted edges -- at the cost of lower recall. We position TGComplete not as uniformly better, but as a principled point on a precision/provenance-recall trade-off, appropriate when auditability matters.


翻译:不完全知识图谱问答(IKGQA)需要补全缺失的边以继续推理。越来越多的研究通过检索文本对补全的边进行验证,将文本支持作为边质量的代理指标。我们提出一个据我们所知尚未被系统检验的问题:文本可验证性是否真正追踪了正确性?利用标准随机删除协议提供的黄金删除三元组,我们对两者进行了测量。结果具有反直觉性:在黄金正确的补全边中,即便在穷尽检索下,仍有76-96%缺乏支持性段落,且该结论对删除率(20%/40%)、数据集(CWQ/WebQSP)和关系类型(结构性、常识性、长尾性)均具有稳健性。多数Freebase风格事实根本不会以头尾实体共现形式出现在文本中。因此,文本忠实性衡量的是溯源性而非正确性——二者之间存在一种语料库内检索无法弥合的范式级鸿沟。这重新定义了边补全问题。由于多数补全边(无论正确与否)对答案而言具有因果冗余性(95-97%的正确答案不依赖于任何无支持的边),核心问题从“该边是否正确?”转变为“在溯源不确定下是接受还是放弃?”在此框架下,我们提出TGComplete——一种倾向溯源性的接纳策略,该策略在推理断点处检索证据,通过轻量级循环验证候选边,并在缺乏支持时放弃。相较于生成式补全基线GoG,TGComplete在黄金标准上获得了更高的边精确率(15-21% vs 3-14%),且未出现统计可检测的精确匹配损失,同时被接纳边的严格忠实性提高了3.1-7.4倍——代价是召回率降低。我们并非将TGComplete定位为全面更优的方法,而是将其视为精确率/溯源性召回率权衡曲线上一个原则性选择点,适用于需要可审计性的场景。

0
下载
关闭预览

相关内容

【论文笔记】基于BERT的知识图谱补全
专知
116+阅读 · 2019年9月15日
论文浅尝 | 基于开放世界的知识图谱补全
开放知识图谱
11+阅读 · 2018年7月3日
论文浅尝 | 变分知识图谱推理:在KG中引入变分推理框架
论文浅尝 | Open world Knowledge Graph Completion
开放知识图谱
19+阅读 · 2018年1月30日
国家自然科学基金
18+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
VIP会员
最新内容
面向2027年及未来的海军情报改革
专知会员服务
0+阅读 · 今天15:49
综述 | Self-Evolving Coding Agents:自进化编程智能体
专知会员服务
0+阅读 · 今天13:16
美海军陆战队将三型无人机整合入统一战场网络
专知会员服务
2+阅读 · 今天9:39
《无人机蜂群:释放人类-蜂群编队的潜能》
专知会员服务
4+阅读 · 今天9:12
《战略战术化:一项综合性述评》
专知会员服务
2+阅读 · 今天9:08
相关VIP内容
相关基金
国家自然科学基金
18+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员