Graph Foundation Models (GFMs) have emerged as a frontier in graph learning, which are expected to deliver transferable representations across diverse tasks. However, GFMs remain constrained by in-memory bottlenecks: they attempt to encode knowledge into model parameters, which limits semantic capacity, introduces heavy lossy compression with conflicts, and entangles graph representation with the knowledge in ways that hinder efficient adaptation, undermining scalability and interpretability. In this work,we propose RAG-GFM, a Retrieval-Augmented Generation aided Graph Foundation Model that offloads knowledge from parameters and complements parameterized learning. To externalize graph knowledge, we build a dual-modal unified retrieval module, where a semantic store from prefix-structured text and a structural store from centrality-based motif. To preserve heterogeneous information, we design a dual-view alignment objective that contrasts both modalities to capture both content and relational patterns. To enable efficient downstream adaptation, we perform in-context augmentation to enrich supporting instances with retrieved texts and motifs as contextual evidence. Extensive experiments on five benchmark graph datasets demonstrate that RAG-GFM consistently outperforms 13 state-of-the-art baselines in both cross-domain node and graph classification, achieving superior effectiveness and efficiency.


翻译:图基础模型已成为图学习领域的前沿方向,有望为多样化任务提供可迁移的表示。然而,图基础模型仍受限于内存瓶颈:其试图将知识编码至模型参数中,这既限制了语义容量,又引入了严重的带冲突的有损压缩,同时以阻碍高效适配的方式将图表示与知识纠缠在一起,从而削弱了可扩展性与可解释性。本研究提出RAG-GFM——一种基于检索增强生成的图基础模型,其将知识从参数中卸载并补充参数化学习。为实现图知识的外部化,我们构建了双模态统一检索模块,其中包含基于前缀结构文本的语义存储库与基于中心性模体的结构存储库。为保持异构信息,我们设计了双视图对齐目标函数,通过对两种模态进行对比以捕捉内容与关系模式。为实现高效的下游适配,我们执行上下文增强,通过检索到的文本和模体作为上下文证据来丰富支持实例。在五个基准图数据集上的大量实验表明,RAG-GFM在跨领域节点分类与图分类任务中均持续优于13个先进基线模型,实现了卓越的效能与效率。

0
下载
关闭预览

相关内容

基于图神经网络的知识图谱研究进展
AI科技评论
21+阅读 · 2020年8月31日
最新《图嵌入组合优化》综述论文,40页pdf
图嵌入(Graph embedding)综述
人工智能前沿讲习班
449+阅读 · 2019年4月30日
深度学习时代的图模型,清华发文综述图网络
GAN生成式对抗网络
13+阅读 · 2018年12月23日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
13+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
相关VIP内容
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
13+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员