文本属性图(TAG)是一种重要的现实世界图结构数据,每个节点都与原始文本相关联。对于TAG,传统的少样本节点分类方法直接在预处理后的节点特征上进行训练,而不考虑原始文本。其性能高度依赖于特征预处理方法的选择。在本文中,我们提出了P2TAG,一种针对TAG的少样本节点分类框架,通过图预训练和提示进行实现。P2TAG首先在TAG上对语言模型(LM)和图神经网络(GNN)进行自监督损失的预训练。为了充分利用语言模型的能力,我们在框架中适配了掩码语言建模目标。预训练模型随后使用混合提示方法进行少样本节点分类,同时考虑文本和图信息。我们在六个现实世界的TAG上进行了实验,包括论文引用网络和产品共同购买网络。实验结果表明,我们提出的框架在这些数据集上比现有的图少样本学习方法表现更好,改进幅度为+18.98% ∼ +35.98%。

成为VIP会员查看完整内容
14

相关内容

【ECCV2024】边缘感知Transformer的场景文本分割
专知会员服务
15+阅读 · 2024年7月25日
【CVPR2024】ViewDiff: 3D一致的图像生成与文本到图像模型
专知会员服务
30+阅读 · 2024年3月10日
专知会员服务
26+阅读 · 2021年5月23日
专知会员服务
17+阅读 · 2021年2月17日
【CVPR2021】跨模态检索的概率嵌入
专知
17+阅读 · 2021年3月2日
【KDD2020】图神经网络生成式预训练
专知
23+阅读 · 2020年7月3日
【NeurIPS2019】图变换网络:Graph Transformer Network
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Arxiv
174+阅读 · 2023年4月20日
A Survey of Large Language Models
Arxiv
497+阅读 · 2023年3月31日
VIP会员
相关VIP内容
【ECCV2024】边缘感知Transformer的场景文本分割
专知会员服务
15+阅读 · 2024年7月25日
【CVPR2024】ViewDiff: 3D一致的图像生成与文本到图像模型
专知会员服务
30+阅读 · 2024年3月10日
专知会员服务
26+阅读 · 2021年5月23日
专知会员服务
17+阅读 · 2021年2月17日
相关资讯
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
相关论文
微信扫码咨询专知VIP会员