Recently, subgraph GNNs have emerged as an important direction for developing expressive graph neural networks (GNNs). While numerous architectures have been proposed, so far there is still a limited understanding of how various design paradigms differ in terms of expressive power, nor is it clear what design principle achieves maximal expressiveness with minimal architectural complexity. To address these fundamental questions, this paper conducts a systematic study of general node-based subgraph GNNs through the lens of Subgraph Weisfeiler-Lehman Tests (SWL). Our central result is to build a complete hierarchy of SWL with strictly growing expressivity. Concretely, we prove that any node-based subgraph GNN falls into one of the six SWL equivalence classes, among which $\mathsf{SSWL}$ achieves the maximal expressive power. We also study how these equivalence classes differ in terms of their practical expressiveness such as encoding graph distance and biconnectivity. Furthermore, we give a tight expressivity upper bound of all SWL algorithms by establishing a close relation with localized versions of WL and Folklore WL (FWL) tests. Our results provide insights into the power of existing subgraph GNNs, guide the design of new architectures, and point out their limitations by revealing an inherent gap with the 2-FWL test. Finally, experiments demonstrate that $\mathsf{SSWL}$-inspired subgraph GNNs can significantly outperform prior architectures on multiple benchmarks despite great simplicity.


翻译:最近,子图GNN已成为发展表达性图神经网络(GNN)的重要方向。尽管已有大量架构被提出,但目前对于不同设计范式在表达能力上的差异仍缺乏深入理解,也不清楚何种设计原则能以最小架构复杂度实现最大表达能力。为解决这些基本问题,本文通过子图Weisfeiler-Lehman测试(SWL)的视角,对通用基于节点的子图GNN进行了系统性研究。我们的核心成果是构建了一个具有严格递增表达能力的完整SWL层级。具体而言,我们证明任何基于节点的子图GNN均属于六个SWL等价类之一,其中$\mathsf{SSWL}$实现了最大表达能力。我们还研究了这些等价类在图距离编码和双连通性等实际表达能力上的差异。此外,通过建立与局部化WL和民间WL(FWL)测试的紧密联系,我们给出了所有SWL算法的严格表达能力上界。这些结果揭示了现有子图GNN的能力,指导了新架构的设计,并通过揭示其与2-FWL测试之间的固有差距指出了局限性。最后,实验表明,尽管结构简单,受$\mathsf{SSWL}$启发的子图GNN在多个基准测试上显著优于先前架构。

0
下载
关闭预览

相关内容

专知会员服务
41+阅读 · 2021年6月10日
NeurIPS 2022 | 利用子图和结点的对称性提升子图GNN
GNN 新基准!Long Range Graph Benchmark
图与推荐
0+阅读 · 2022年10月18日
论文浅尝 | GEOM-GCN: Geometric Graph Convolutional Networks
开放知识图谱
14+阅读 · 2020年4月8日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Arxiv
0+阅读 · 2023年5月18日
Arxiv
27+阅读 · 2020年6月19日
Arxiv
10+阅读 · 2019年2月19日
Arxiv
23+阅读 · 2018年10月1日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
8+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
10+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
6+阅读 · 6月17日
相关VIP内容
专知会员服务
41+阅读 · 2021年6月10日
相关资讯
NeurIPS 2022 | 利用子图和结点的对称性提升子图GNN
GNN 新基准!Long Range Graph Benchmark
图与推荐
0+阅读 · 2022年10月18日
论文浅尝 | GEOM-GCN: Geometric Graph Convolutional Networks
开放知识图谱
14+阅读 · 2020年4月8日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员