Recently developed graph contrastive learning (GCL) approaches compare two different "views" of the same graph in order to learn node/graph representations. The core assumption of these approaches is that by graph augmentation, it is possible to generate several structurally different but semantically similar graph structures, and therefore, the identity labels of the original and augmented graph/nodes should be identical. However, in this paper, we observe that this assumption does not always hold, for example, any perturbation to nodes or edges in a molecular graph will change the graph labels to some degree. Therefore, we believe that augmenting the graph structure should be accompanied by an adaptation of the labels used for the contrastive loss. Based on this idea, we propose ID-MixGCL, which allows for simultaneous modulation of both the input graph and the corresponding identity labels, with a controllable degree of change, leading to the capture of fine-grained representations from unlabeled graphs. Experimental results demonstrate that ID-MixGCL improves performance on graph classification and node classification tasks, as demonstrated by significant improvements on the Cora, IMDB-B, and IMDB-M datasets compared to state-of-the-art techniques, by 3-29% absolute points.


翻译:近期发展的图对比学习方法通过比较同一图的两个不同“视图”来学习节点/图表示。这些方法的核心假设是,通过图增强可以生成多个结构不同但语义相似的图结构,因此原始图/节点与增强图/节点的身份标签应保持一致。然而在本文中,我们观察到这一假设并不总是成立——例如,对分子图中节点或边的任何扰动都会在一定程度上改变图标签。基于这一认识,我们认为图结构增强应伴随对比损失所用标签的适应性调整。为此,我们提出ID-MixGCL方法,能够同步调节输入图及其对应的身份标签,且变化程度可控,从而从未标记图中捕获细粒度表示。实验结果表明,ID-MixGCL在Cora、IMDB-B和IMDB-M数据集上相较现有最优技术取得3-29%的绝对提升,显著改进了图分类和节点分类任务的性能。

0
下载
关闭预览

相关内容

【AAAI2022】同时适用于同质和异质性的图神经网络
专知会员服务
32+阅读 · 2022年1月3日
专知会员服务
13+阅读 · 2021年8月8日
浅聊对比学习(Contrastive Learning)
极市平台
3+阅读 · 2022年7月26日
IJCAI 2022 | 鲁棒的Node-Node Level自对齐图对比学习
PaperWeekly
0+阅读 · 2022年6月16日
浅聊对比学习(Contrastive Learning)第一弹
PaperWeekly
1+阅读 · 2022年6月10日
AF-GCL:不需要增强的图对比学习
图与推荐
0+阅读 · 2022年5月20日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
3+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Arxiv
10+阅读 · 2021年2月26日
Identity-aware Graph Neural Networks
Arxiv
14+阅读 · 2021年1月25日
VIP会员
最新内容
《无人地面战车(UGV)的崛起》报告
专知会员服务
5+阅读 · 7月16日
美陆军任务式指挥人工智能解决方案
专知会员服务
9+阅读 · 7月16日
相关VIP内容
【AAAI2022】同时适用于同质和异质性的图神经网络
专知会员服务
32+阅读 · 2022年1月3日
专知会员服务
13+阅读 · 2021年8月8日
相关基金
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
3+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员