Graph-based Retrieval-Augmented Generation (GraphRAG) frameworks face a trade-off between the comprehensiveness of global search and the efficiency of local search. Existing methods are often challenged by navigating large-scale hierarchical graphs, optimizing retrieval paths, and balancing exploration-exploitation dynamics, frequently lacking robust multi-stage re-ranking. To overcome these deficits, we propose Deep GraphRAG, a framework designed for a balanced approach to hierarchical retrieval and adaptive integration. It introduces a hierarchical global-to-local retrieval strategy that integrates macroscopic inter-community and microscopic intra-community contextual relations. This strategy employs a three-stage process: (1) inter-community filtering, which prunes the search space using local context; (2) community-level refinement, which prioritizes relevant subgraphs via entity-interaction analysis; and (3) entity-level fine-grained search within target communities. A beam search-optimized dynamic re-ranking module guides this process, continuously filtering candidates to balance efficiency and global comprehensiveness. Deep GraphRAG also features a Knowledge Integration Module leveraging a compact LLM, trained with Dynamic Weighting Reward GRPO (DW-GRPO). This novel reinforcement learning approach dynamically adjusts reward weights to balance three key objectives: relevance, faithfulness, and conciseness. This training enables compact models (1.5B) to approach the performance of large models (70B) in the integration task. Evaluations on Natural Questions and HotpotQA demonstrate that Deep GraphRAG significantly outperforms baseline graph retrieval methods in both accuracy and efficiency.


翻译:基于图的检索增强生成(GraphRAG)框架面临着全局搜索的全面性与局部搜索的效率之间的权衡。现有方法在导航大规模层次化图结构、优化检索路径以及平衡探索-利用动态性方面常面临挑战,且往往缺乏鲁棒的多阶段重排序机制。为克服这些不足,我们提出深度图检索增强生成(Deep GraphRAG),这是一个为层次化检索与自适应集成提供平衡解决方案的框架。该框架引入了一种从全局到局部的层次化检索策略,整合了宏观的社区间与微观的社区内上下文关系。该策略采用三阶段流程:(1)社区间过滤,利用局部上下文对搜索空间进行剪枝;(2)社区级优化,通过实体交互分析对相关子图进行优先级排序;(3)在目标社区内进行实体级细粒度搜索。一个基于束搜索优化的动态重排序模块引导此过程,持续筛选候选结果以平衡效率与全局覆盖度。深度图检索增强生成还配备了一个知识集成模块,该模块利用经过动态加权奖励GRPO(DW-GRPO)训练的紧凑型大语言模型。这种新颖的强化学习方法动态调整奖励权重,以平衡三个关键目标:相关性、忠实性与简洁性。通过这种训练,紧凑模型(1.5B参数)在集成任务中的性能可接近大型模型(70B参数)的水平。在Natural Questions和HotpotQA数据集上的评估表明,深度图检索增强生成在准确性与效率上均显著优于基线图检索方法。

0
下载
关闭预览

相关内容

【新书】检索增强生成(RAG)入门指南
专知会员服务
29+阅读 · 2025年6月25日
定制化大型语言模型的图检索增强生成综述
专知会员服务
37+阅读 · 2025年1月28日
图增强生成(GraphRAG)
专知会员服务
34+阅读 · 2025年1月4日
图检索增强生成研究进展
专知会员服务
36+阅读 · 2024年11月5日
Github热门图深度学习(GraphDL)源码与框架
新智元
21+阅读 · 2019年3月19日
深度学习时代的图模型,清华发文综述图网络
GAN生成式对抗网络
13+阅读 · 2018年12月23日
【学界】基于条件深度卷积生成对抗网络的图像识别方法
GAN生成式对抗网络
16+阅读 · 2018年7月26日
国家自然科学基金
43+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
13+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
43+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
13+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员