Graph-augmented retrieval combines dense similarity with graph-based relevance signals such as Personalized PageRank (PPR), but these scores have different distributions and are not directly comparable. We study this as a score calibration problem for heterogeneous retrieval fusion in multi-hop question answering. Our method, PhaseGraph, maps vector and graph scores to a common unit-free scale using percentile-rank normalization (PIT) before fusion, enabling stable combination without discarding magnitude information. Across MuSiQue and 2WikiMultiHopQA, calibrated fusion improves held-out last-hop retrieval on HippoRAG2-style benchmarks: LastHop@5 increases from 75.1% to 76.5% on MuSiQue (8W/1L, p=0.039) and from 51.7% to 53.6% on 2WikiMultiHopQA (11W/2L, p=0.023), both on independent held-out test splits. A theory-driven ablation shows that percentile-based calibration is directionally more robust than min-max normalization on both tune and test splits (1W/6L, p=0.125), while Boltzmann weighting performs comparably to linear fusion after calibration (0W/3L, p=0.25). These results suggest that score commensuration is a robust design choice, and the exact post-calibration operator appears to matter less on these benchmarks.


翻译:图增强检索将稠密相似度与基于图的关联信号(如个性化PageRank,PPR)相结合,但这些分数具有不同的分布且不可直接比较。我们将此问题视为多跳问答中异质检索融合的分数校准问题。所提方法PhaseGraph通过百分位数秩归一化(PIT)将向量分数和图分数映射到统一的无量纲尺度后再进行融合,从而在保留量级信息的同时实现稳定组合。在MuSiQue和2WikiMultiHopQA数据集上的实验表明:校准融合改进了HippoRAG2风格基准中的保留最后跳检索性能——MuSiQue上LastHop@5从75.1%提升至76.5%(8W/1L,p=0.039),2WikiMultiHopQA上从51.7%提升至53.6%(11W/2L,p=0.023),两者均基于独立保留测试集。理论驱动的消融实验表明:在调优集和测试集上(1W/6L,p=0.125),基于百分位数的校准在方向上比最小-最大归一化更稳健,而校准后的玻尔兹曼加权与线性融合性能相当(0W/3L,p=0.25)。这些结果表明分数公度化是一种稳健的设计选择,且在这些基准上,具体的校准后融合算子的影响相对较小。

0
下载
关闭预览

相关内容

专家报告|深度学习+图像多模态融合
中国图象图形学报
12+阅读 · 2019年10月23日
基于图片内容的深度学习图片检索(一)
七月在线实验室
20+阅读 · 2017年10月1日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 3月23日
VIP会员
最新内容
认知战与交战性质的改变:神经战略视角
专知会员服务
5+阅读 · 5月8日
相关VIP内容
相关资讯
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员