The ``pre-train, prompt" paradigm, designed to bridge the gap between pre-training tasks and downstream objectives, has been extended from the NLP domain to the graph domain and has achieved remarkable progress. Current mainstream graph prompt-tuning methods modify input or output features using learnable prompt vectors. However, existing approaches are confined to single-granularity (e.g., node-level or subgraph-level) during prompt generation, overlooking the inherently multi-scale structural information in graph data, which limits the diversity of prompt semantics. To address this issue, we pioneer the integration of multi-scale information into graph prompt and propose a Multi-Scale Graph Chain-of-Thought (MSGCOT) prompting framework. Specifically, we design a lightweight, low-rank coarsening network to efficiently capture multi-scale structural features as hierarchical basis vectors for prompt generation. Subsequently, mimicking human cognition from coarse-to-fine granularity, we dynamically integrate multi-scale information at each reasoning step, forming a progressive coarse-to-fine prompt chain. Extensive experiments on eight benchmark datasets demonstrate that MSGCOT outperforms the state-of-the-art single-granularity graph prompt-tuning method, particularly in few-shot scenarios, showcasing superior performance. The code is available at: https://github.com/zhengziyu77/MSGCOT.


翻译:"预训练-提示"范式旨在弥合预训练任务与下游目标之间的鸿沟,已从自然语言处理领域扩展到图领域,并取得了显著进展。当前主流的图提示调优方法通过可学习的提示向量来修改输入或输出特征。然而,现有方法在提示生成过程中局限于单一粒度(例如节点级或子图级),忽略了图数据固有的多尺度结构信息,这限制了提示语义的多样性。为解决这一问题,我们率先将多尺度信息整合到图提示中,并提出了一种多尺度图思维链(MSGCOT)提示框架。具体而言,我们设计了一个轻量级的低秩粗化网络,以高效捕获多尺度结构特征作为提示生成的层次化基向量。随后,模拟人类从粗粒度到细粒度的认知过程,我们在每个推理步骤动态整合多尺度信息,形成一个渐进式的从粗到细的提示链。在八个基准数据集上的大量实验表明,MSGCOT 优于最先进的单粒度图提示调优方法,特别是在少样本场景下,展现出卓越的性能。代码可在以下网址获取:https://github.com/zhengziyu77/MSGCOT。

0
下载
关闭预览

相关内容

图提示在图学习模型中的应用:近期进展与未来方向
专知会员服务
25+阅读 · 2025年6月11日
图提示学习最新综述
专知会员服务
22+阅读 · 2024年8月28日
视觉提示学习综述
专知会员服务
55+阅读 · 2024年3月23日
【AAAI2024】LAMM: 多模态提示学习的标签对齐
专知会员服务
41+阅读 · 2023年12月14日
提示学习在图神经网络中的应用
专知会员服务
36+阅读 · 2023年8月27日
深度多模态表示学习综述论文,22页pdf
专知
33+阅读 · 2020年6月21日
图上的归纳表示学习
科技创新与创业
23+阅读 · 2017年11月9日
国家自然科学基金
3+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
14+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
相关VIP内容
图提示在图学习模型中的应用:近期进展与未来方向
专知会员服务
25+阅读 · 2025年6月11日
图提示学习最新综述
专知会员服务
22+阅读 · 2024年8月28日
视觉提示学习综述
专知会员服务
55+阅读 · 2024年3月23日
【AAAI2024】LAMM: 多模态提示学习的标签对齐
专知会员服务
41+阅读 · 2023年12月14日
提示学习在图神经网络中的应用
专知会员服务
36+阅读 · 2023年8月27日
相关基金
国家自然科学基金
3+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
14+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员