Existing graph contrastive learning (GCL) techniques typically require two forward passes for a single instance to construct the contrastive loss, which is effective for capturing the low-frequency signals of node features. Such a dual-pass design has shown empirical success on homophilic graphs, but its effectiveness on heterophilic graphs, where directly connected nodes typically have different labels, is unknown. In addition, existing GCL approaches fail to provide strong performance guarantees. Coupled with the unpredictability of GCL approaches on heterophilic graphs, their applicability in real-world contexts is limited. Then, a natural question arises: Can we design a GCL method that works for both homophilic and heterophilic graphs with a performance guarantee? To answer this question, we theoretically study the concentration property of features obtained by neighborhood aggregation on homophilic and heterophilic graphs, introduce the single-pass graph contrastive learning loss based on the property, and provide performance guarantees for the minimizer of the loss on downstream tasks. As a direct consequence of our analysis, we implement the Single-Pass Graph Contrastive Learning method (SP-GCL). Empirically, on 14 benchmark datasets with varying degrees of homophily, the features learned by the SP-GCL can match or outperform existing strong baselines with significantly less computational overhead, which demonstrates the usefulness of our findings in real-world cases.


翻译:现有图对比学习(GCL)技术通常需要对单个实例进行两次前向传递以构建对比损失,这能有效捕捉节点特征的低频信号。这种双通设计在同质性图上取得了实证成功,但在直接相连节点通常具有不同标签的异质性图上其有效性尚不明确。此外,现有GCL方法未能提供强性能保证。加之GCL方法在异质性图上的不可预测性,其实际应用场景受到限制。由此自然产生一个问题:我们能否设计一种具有性能保证且同时适用于同质性与异质性图的GCL方法?为回答该问题,我们从理论上研究了同质性与异质性图上邻域聚合所得特征的集中性质,基于该性质提出单通图对比学习损失函数,并为此损失函数在下游任务上的最小化器提供了性能保证。基于理论分析,我们实现了单通图对比学习方法(SP-GCL)。在14个具有不同同质性程度的基准数据集上的实证结果表明,SP-GCL学习的特征能够以显著更低的计算开销匹配或超越现有强基线方法,验证了我们在实际场景中发现的有效性。

0
下载
关闭预览

相关内容

NeurIPS2022|图对比学习的结构公平性初探
专知会员服务
14+阅读 · 2022年10月16日
必读的7篇 IJCAI 2019【图神经网络(GNN)】相关论文
专知会员服务
92+阅读 · 2020年1月10日
GNN 新基准!Long Range Graph Benchmark
图与推荐
0+阅读 · 2022年10月18日
NeurIPS 2022|图对比学习的结构公平性初探
PaperWeekly
0+阅读 · 2022年10月17日
浅聊对比学习(Contrastive Learning)
极市平台
3+阅读 · 2022年7月26日
浅聊对比学习(Contrastive Learning)第一弹
PaperWeekly
1+阅读 · 2022年6月10日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
深度自进化聚类:Deep Self-Evolution Clustering
我爱读PAMI
15+阅读 · 2019年4月13日
强化学习的Unsupervised Meta-Learning
CreateAMind
18+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
2+阅读 · 2009年12月31日
Arxiv
15+阅读 · 2021年8月5日
Arxiv
21+阅读 · 2021年2月13日
Arxiv
19+阅读 · 2021年2月4日
Heterogeneous Deep Graph Infomax
Arxiv
12+阅读 · 2019年11月19日
Efficiently Embedding Dynamic Knowledge Graphs
Arxiv
14+阅读 · 2019年10月15日
dynnode2vec: Scalable Dynamic Network Embedding
Arxiv
15+阅读 · 2018年12月6日
VIP会员
最新内容
深入Project Maven:为何人工智能在战场上依然失灵
专知会员服务
3+阅读 · 47分钟前
锻造未来士兵:外骨骼、基因工程与赛博格
专知会员服务
0+阅读 · 56分钟前
《无人机蜂群通信技术研究》50页
专知会员服务
4+阅读 · 今天14:55
战力倍增器:自主武器系统与乌克兰及加沙冲突
人工智能赋能战场情报:提速决策进程
专知会员服务
3+阅读 · 7月17日
《拥抱新兴技术:面向未来军官的教育革新》
专知会员服务
7+阅读 · 7月17日
相关VIP内容
NeurIPS2022|图对比学习的结构公平性初探
专知会员服务
14+阅读 · 2022年10月16日
必读的7篇 IJCAI 2019【图神经网络(GNN)】相关论文
专知会员服务
92+阅读 · 2020年1月10日
相关资讯
GNN 新基准!Long Range Graph Benchmark
图与推荐
0+阅读 · 2022年10月18日
NeurIPS 2022|图对比学习的结构公平性初探
PaperWeekly
0+阅读 · 2022年10月17日
浅聊对比学习(Contrastive Learning)
极市平台
3+阅读 · 2022年7月26日
浅聊对比学习(Contrastive Learning)第一弹
PaperWeekly
1+阅读 · 2022年6月10日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
深度自进化聚类:Deep Self-Evolution Clustering
我爱读PAMI
15+阅读 · 2019年4月13日
强化学习的Unsupervised Meta-Learning
CreateAMind
18+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
相关论文
Arxiv
15+阅读 · 2021年8月5日
Arxiv
21+阅读 · 2021年2月13日
Arxiv
19+阅读 · 2021年2月4日
Heterogeneous Deep Graph Infomax
Arxiv
12+阅读 · 2019年11月19日
Efficiently Embedding Dynamic Knowledge Graphs
Arxiv
14+阅读 · 2019年10月15日
dynnode2vec: Scalable Dynamic Network Embedding
Arxiv
15+阅读 · 2018年12月6日
相关基金
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
2+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员