Graph-based Retrieval-Augmented Generation (GraphRAG) has become the important paradigm for enhancing Large Language Models (LLMs) with external knowledge. However, existing approaches are constrained by their reliance on high-quality knowledge graphs: manually built ones are not scalable, while automatically extracted ones are limited by the performance of LLM extractors, especially when using smaller, local-deployed models. To address this, we introduce Think-on-Graph 3.0 (ToG-3), a novel framework featuring a Multi-Agent Context Evolution and Retrieval (MACER) mechanism. Its core contribution is the dynamic construction and iterative refinement of a Chunk-Triplets-Community heterogeneous graph index, powered by a Dual-Evolution process that adaptively evolves both the query and the retrieved sub-graph during reasoning. ToG-3 dynamically builds a targeted graph index tailored to the query, enabling precise evidence retrieval and reasoning even with lightweight LLMs. Extensive experiments demonstrate that ToG-3 outperforms compared baselines on both deep and broad reasoning benchmarks, and ablation studies confirm the efficacy of the components of MACER framework. The source code are available in https://github.com/DataArcTech/ToG-3.


翻译:基于图的检索增强生成已成为利用外部知识增强大型语言模型的重要范式。然而,现有方法受限于对高质量知识图谱的依赖:人工构建的图谱难以扩展,而自动提取的图谱则受限于LLM提取器的性能,尤其是在使用较小的本地部署模型时。为解决此问题,我们提出了基于图的检索增强生成 3.0,这是一个新颖的框架,其核心是多智能体上下文演化与检索机制。该框架的核心贡献在于动态构建并迭代优化一个由文本块-三元组-社区构成的异质图索引,其动力源自一个双演化过程,该过程在推理过程中自适应地同时演化查询和检索到的子图。ToG-3 能够针对查询动态构建定制的图索引,从而即使使用轻量级LLM也能实现精确的证据检索与推理。大量实验表明,ToG-3 在深度和广度推理基准测试中均优于对比基线,消融研究也证实了多智能体上下文演化与检索框架各组成部分的有效性。源代码可在 https://github.com/DataArcTech/ToG-3 获取。

0
下载
关闭预览

相关内容

【ICML2023】SEGA:结构熵引导的图对比学习锚视图
专知会员服务
23+阅读 · 2023年5月10日
【NeurIPS 2020】融入BERT到并行序列模型
专知会员服务
26+阅读 · 2020年10月15日
AAAI 2022 | ProtGNN:自解释图神经网络
专知
10+阅读 · 2022年2月28日
【NeurIPS2019】图变换网络:Graph Transformer Network
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
17+阅读 · 2008年12月31日
VIP会员
相关VIP内容
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
17+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员