Large Language Model agents often retrieve context from knowledge bases that lack structural consistency with the agent's current reasoning state, leading to incoherent reasoning chains. We introduce Path-Constrained Retrieval (PCR), a retrieval method that combines structural graph constraints with semantic search to ensure retrieved information maintains logical relationships within a knowledge graph. PCR restricts the search space to nodes reachable from an anchor node, preventing retrieval of structurally disconnected information that may lead to inconsistent reasoning. We evaluate PCR on PathRAG-6, a benchmark spanning six domains with 180 nodes and 360 edges. Our results show that PCR achieves full structural consistency compared to 24-32 percent in baseline methods, while maintaining strong relevance scores. On the technology domain, PCR obtains full relevance at rank 10 with full structural consistency, significantly outperforming vector search and hybrid retrieval. PCR reduces the average graph distance of retrieved context by 78 percent compared to baselines, demonstrating retrieval of more structurally consistent information. These findings suggest that path-constrained retrieval is an effective approach for improving the reliability and coherence of LLM agent reasoning systems.


翻译:大型语言模型智能体在从知识库中检索上下文时,常因知识库结构与当前推理状态缺乏结构性一致而导致推理链不连贯。本文提出路径约束检索方法,该方法将图结构约束与语义搜索相结合,确保检索到的信息在知识图谱内保持逻辑关系。PCR将搜索空间限制为从锚节点可达的节点,避免检索结构上不连贯的信息,从而防止推理不一致。我们在PathRAG-6基准上评估PCR,该基准涵盖六个领域,包含180个节点和360条边。实验结果表明,PCR实现了100%的结构一致性,而基线方法仅为24-32%,同时保持了较高的相关性得分。在技术领域,PCR在排名10时达到100%相关性且保持完全结构一致性,显著优于向量搜索和混合检索方法。与基线相比,PCR将检索上下文的平均图距离降低了78%,证明其能检索到更具结构一致性的信息。这些发现表明,路径约束检索是提升LLM智能体推理系统可靠性与连贯性的有效途径。

0
下载
关闭预览

相关内容

CVPR 2019:精确目标检测的不确定边界框回归
AI科技评论
13+阅读 · 2019年9月16日
语义分割中的深度学习方法全解:从FCN、SegNet到DeepLab
炼数成金订阅号
26+阅读 · 2017年7月10日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员