Node classification is a fundamental problem in information retrieval with many real-world applications, such as community detection in social networks, grouping articles published online and product categorization in e-commerce. Zero-shot node classification in text-attributed graphs (TAGs) presents a significant challenge, particularly due to the absence of labeled data. In this paper, we propose a novel Zero-shot Prompt Tuning (ZPT) framework to address this problem by leveraging a Universal Bimodal Conditional Generator (UBCG). Our approach begins with pre-training a graph-language model to capture both the graph structure and the associated textual descriptions of each node. Following this, a conditional generative model is trained to learn the joint distribution of nodes in both graph and text modalities, enabling the generation of synthetic samples for each class based solely on the class name. These synthetic node and text embeddings are subsequently used to perform continuous prompt tuning, facilitating effective node classification in a zero-shot setting. Furthermore, we conduct extensive experiments on multiple benchmark datasets, demonstrating that our framework performs better than existing state-of-the-art baselines. We also provide ablation studies to validate the contribution of the bimodal generator. The code is provided at: https://github.com/Sethup123/ZPT.


翻译:节点分类是信息检索领域的一个基础性问题,具有诸多现实应用,例如社交网络中的社区检测、在线发表文章的分组以及电子商务中的产品分类。文本属性图(TAGs)中的零样本节点分类提出了一个重大挑战,尤其是由于标注数据的缺失。本文提出了一种新颖的零样本提示调优(ZPT)框架,通过利用通用双模态条件生成器(UBCG)来解决这一问题。我们的方法首先预训练一个图-语言模型,以捕获图结构以及每个节点相关的文本描述。随后,训练一个条件生成模型来学习节点在图和文本两种模态下的联合分布,从而能够仅基于类别名称为每个类别生成合成样本。这些合成的节点和文本嵌入随后被用于执行连续提示调优,从而在零样本设置下实现有效的节点分类。此外,我们在多个基准数据集上进行了广泛的实验,结果表明我们的框架性能优于现有的最先进基线方法。我们还提供了消融研究以验证双模态生成器的贡献。代码发布于:https://github.com/Sethup123/ZPT。

0
下载
关闭预览

相关内容

专知会员服务
52+阅读 · 2021年5月15日
【Mila】通用表示Transformer少样本图像分类
专知会员服务
33+阅读 · 2020年9月7日
专知会员服务
40+阅读 · 2020年6月19日
零样本文本分类,Zero-Shot Learning for Text Classification
专知会员服务
97+阅读 · 2020年5月31日
零样本图像分类综述 : 十年进展
专知会员服务
128+阅读 · 2019年11月16日
PointNet系列论文解读
人工智能前沿讲习班
17+阅读 · 2019年5月3日
小样本学习(Few-shot Learning)综述
黑龙江大学自然语言处理实验室
28+阅读 · 2019年4月1日
专栏 | 手把手教你用DGL框架进行批量图分类
机器之心
14+阅读 · 2019年1月29日
ML通用指南:文本分类详细教程(上)
论智
19+阅读 · 2018年7月29日
在Python中使用SpaCy进行文本分类
专知
24+阅读 · 2018年5月8日
Tensorflow 文本分类-Python深度学习
Python程序员
12+阅读 · 2017年11月22日
国家自然科学基金
4+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关VIP内容
专知会员服务
52+阅读 · 2021年5月15日
【Mila】通用表示Transformer少样本图像分类
专知会员服务
33+阅读 · 2020年9月7日
专知会员服务
40+阅读 · 2020年6月19日
零样本文本分类,Zero-Shot Learning for Text Classification
专知会员服务
97+阅读 · 2020年5月31日
零样本图像分类综述 : 十年进展
专知会员服务
128+阅读 · 2019年11月16日
相关资讯
PointNet系列论文解读
人工智能前沿讲习班
17+阅读 · 2019年5月3日
小样本学习(Few-shot Learning)综述
黑龙江大学自然语言处理实验室
28+阅读 · 2019年4月1日
专栏 | 手把手教你用DGL框架进行批量图分类
机器之心
14+阅读 · 2019年1月29日
ML通用指南:文本分类详细教程(上)
论智
19+阅读 · 2018年7月29日
在Python中使用SpaCy进行文本分类
专知
24+阅读 · 2018年5月8日
Tensorflow 文本分类-Python深度学习
Python程序员
12+阅读 · 2017年11月22日
相关基金
国家自然科学基金
4+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员