Graph ``pre-training and prompt-tuning'' aligns downstream tasks with pre-trained objectives to enable efficient knowledge transfer under limited supervision. However, current methods typically rely on single-filter backbones (e.g., low-pass), whereas real-world graphs exhibit inherent spectral diversity. Our theoretical \textit{Spectral Specificity} principle reveals that effective knowledge transfer requires alignment between pre-trained spectral filters and the intrinsic spectrum of downstream graphs. This identifies two fundamental limitations: (1) Knowledge Bottleneck: single-filter models suffer from irreversible information loss by suppressing signals from other frequency bands (e.g., high-frequency); (2) Utilization Bottleneck: spectral mismatches between pre-trained filters and downstream spectra lead to significant underutilization of pre-trained knowledge. To bridge this gap, we propose HS-GPPT. We utilize a hybrid spectral backbone to construct an abundant knowledge basis. Crucially, we introduce Spectral-Aligned Prompt Tuning to actively align the downstream graph's spectrum with diverse pre-trained filters, facilitating comprehensive knowledge utilization across both homophily and heterophily. Extensive experiments validate the effectiveness under both transductive and inductive learning settings.


翻译:图“预训练与提示调优”通过将下游任务与预训练目标对齐,实现在有限监督下的高效知识迁移。然而,现有方法通常依赖于单一滤波器骨干网络(例如低通滤波器),而现实世界中的图具有固有的频谱多样性。我们的理论“频谱特异性”原则揭示,有效的知识迁移要求预训练的频谱滤波器与下游图的固有频谱对齐。这指出了两个根本性局限:(1)知识瓶颈:单一滤波器模型通过抑制其他频段(例如高频)的信号,会遭受不可逆的信息损失;(2)利用瓶颈:预训练滤波器与下游频谱之间的不匹配导致预训练知识显著利用不足。为弥合这一差距,我们提出了HS-GPPT。我们利用混合频谱骨干网络构建丰富的知识基。关键的是,我们引入了频谱对齐提示调优,以主动将下游图的频谱与多样化的预训练滤波器对齐,从而促进跨同配性与异配性的全面知识利用。大量实验验证了该方法在直推式与归纳式学习设置下的有效性。

0
下载
关闭预览

相关内容

提示调优综述
专知会员服务
18+阅读 · 2025年7月10日
融合知识图谱的预训练模型研究综述
专知会员服务
49+阅读 · 2024年3月31日
专知会员服务
46+阅读 · 2021年6月20日
【AAAI2023】用于图对比学习的谱特征增强
专知
20+阅读 · 2022年12月11日
ICML2020 图神经网络的预训练
图与推荐
12+阅读 · 2020年4月4日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员