Graph contrastive learning (GCL) has emerged as a dominant technique for graph representation learning which maximizes the mutual information between paired graph augmentations that share the same semantics. Unfortunately, it is difficult to preserve semantics well during augmentations in view of the diverse nature of graph data. Currently, data augmentations in GCL that are designed to preserve semantics broadly fall into three unsatisfactory ways. First, the augmentations can be manually picked per dataset by trial-and-errors. Second, the augmentations can be selected via cumbersome search. Third, the augmentations can be obtained by introducing expensive domain-specific knowledge as guidance. All of these limit the efficiency and more general applicability of existing GCL methods. To circumvent these crucial issues, we propose a \underline{Sim}ple framework for \underline{GRA}ph \underline{C}ontrastive l\underline{E}arning, \textbf{SimGRACE} for brevity, which does not require data augmentations. Specifically, we take original graph as input and GNN model with its perturbed version as two encoders to obtain two correlated views for contrast. SimGRACE is inspired by the observation that graph data can preserve their semantics well during encoder perturbations while not requiring manual trial-and-errors, cumbersome search or expensive domain knowledge for augmentations selection. Also, we explain why SimGRACE can succeed. Furthermore, we devise adversarial training scheme, dubbed \textbf{AT-SimGRACE}, to enhance the robustness of graph contrastive learning and theoretically explain the reasons. Albeit simple, we show that SimGRACE can yield competitive or better performance compared with state-of-the-art methods in terms of generalizability, transferability and robustness, while enjoying unprecedented degree of flexibility and efficiency.


翻译:图对比学习(Graph Contrastive Learning, GCL)已成为图表示学习的主流技术,其核心在于最大化共享相同语义的配对图增强之间的互信息。然而,由于图数据具有多样化的特性,在增强过程中难以妥善保持语义信息。当前,旨在保持语义的GCL数据增强方法大致存在三种不足:其一,增强方法需针对不同数据集通过试错手动选择;其二,增强方法需通过繁琐搜索进行选取;其三,增强方法需引入昂贵的领域特定知识作为指导。这些限制均降低了现有GCL方法的效率及普适性。为规避这些关键问题,本文提出一个无需数据增强的简易图对比学习框架(简称\textbf{SimGRACE})。具体而言,我们以原始图作为输入,将图神经网络(GNN)模型及其扰动版本分别作为两个编码器,以获取用于对比的两组关联视图。SimGRACE的设计灵感源于以下观察:图数据在编码器扰动过程中能良好保持语义,且无需人工试错、繁琐搜索或昂贵的领域知识来选取增强方法。此外,我们从理论层面阐释了SimGRACE的成功机理。为增强图对比学习的鲁棒性,我们进一步设计了对抗训练方案(简称\textbf{AT-SimGRACE}),并给出了理论解释。尽管方法简洁,但实验表明,SimGRACE在泛化性、迁移性和鲁棒性方面可达到与现有最优方法相当甚至更优的性能,同时享有前所未有的灵活性与效率。

0
下载
关闭预览

相关内容

AAAI2023|图对比学习的模型增强技巧
专知会员服务
37+阅读 · 2023年2月25日
【AAAI 2022】 GeomGCL:用于分子性质预测的几何图对比学习
专知会员服务
24+阅读 · 2022年2月27日
专知会员服务
108+阅读 · 2020年12月21日
【AAAI2023】用于图对比学习的谱特征增强
专知
20+阅读 · 2022年12月11日
元学习—Meta Learning的兴起
专知
44+阅读 · 2019年10月19日
逆强化学习-学习人先验的动机
CreateAMind
16+阅读 · 2019年1月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
18+阅读 · 2019年1月7日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
1+阅读 · 2009年12月31日
Arxiv
38+阅读 · 2020年12月2日
Deep learning for cardiac image segmentation: A review
Arxiv
21+阅读 · 2019年11月9日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
1+阅读 · 59分钟前
定向能反无人机系统最新发展动态
专知会员服务
3+阅读 · 今天13:50
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
2+阅读 · 今天13:33
相关VIP内容
AAAI2023|图对比学习的模型增强技巧
专知会员服务
37+阅读 · 2023年2月25日
【AAAI 2022】 GeomGCL:用于分子性质预测的几何图对比学习
专知会员服务
24+阅读 · 2022年2月27日
专知会员服务
108+阅读 · 2020年12月21日
相关资讯
相关基金
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
1+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员