Graph Neural Networks (GNNs) face fundamental limitations in expressivity and capturing structural heterogeneity. Standard message-passing architectures are constrained by the 1-dimensional Weisfeiler-Leman (1-WL) test, unable to distinguish graphs beyond degree sequences, and aggregate information uniformly from neighbors, failing to capture how nodes occupy different structural positions within higher-order patterns. While methods exist to achieve higher expressivity, they incur prohibitive computational costs and lack unified frameworks for flexibly encoding diverse structural properties. To address these limitations, we introduce Invariant-Stratified Propagation (ISP), a framework comprising both a novel WL variant (ISP-WL) and its efficient neural network implementation (ISPGNN). ISP stratifies nodes according to graph invariants, processing them in hierarchical strata that reveal structural distinctions invisible to 1-WL. Through hierarchical structural heterogeneity encoding, ISP quantifies differences in nodes' structural positions within higher-order patterns, distinguishing interactions where participants occupy different roles from those with uniform participation. We provide formal theoretical analysis establishing enhanced expressivity beyond 1-WL, convergence guarantees, and inherent resistance to oversmoothing. Extensive experiments across graph classification, node classification, and influence estimation demonstrate consistent improvements over standard architectures and state-of-the-art expressive baselines.


翻译:图神经网络(GNNs)在表达能力和捕捉结构异质性方面面临根本性限制。标准消息传递架构受限于一维Weisfeiler-Leman(1-WL)测试,无法区分超越度序列的图结构,并以均匀方式聚合邻居信息,未能捕捉节点在高阶模式中所处的不同结构位置。虽然已有方法能够实现更高的表达能力,但其计算成本过高,且缺乏统一框架来灵活编码多样化的结构特性。为应对这些局限,本文提出不变分层传播(ISP)框架,该框架包含一种新颖的WL变体(ISP-WL)及其高效的神经网络实现(ISPGNN)。ISP根据图不变量对节点进行分层,通过处理层次化分层来揭示1-WL无法识别的结构差异。通过层次化结构异质性编码,ISP能够量化节点在高阶模式中结构位置的差异,从而区分参与者扮演不同角色的交互与参与者角色均匀的交互。我们通过形式化理论分析证明:该框架具有超越1-WL的表达能力提升,提供收敛性保证,并具备固有的抗过度平滑特性。在图分类、节点分类和影响力估计等任务上的大量实验表明,该方法相较于标准架构及当前最具表达能力的基线模型均能取得持续改进。

0
下载
关闭预览

相关内容

【ICML2023】路径神经网络:具有表达能力的准确图神经网络
【NeurIPS 2020】通过双向传播的可扩展图神经网络
专知会员服务
30+阅读 · 2020年11月3日
专知会员服务
29+阅读 · 2020年8月8日
【清华大学】图随机神经网络,Graph Random Neural Networks
专知会员服务
156+阅读 · 2020年5月26日
图神经网络表达能力的研究综述,41页pdf
专知会员服务
173+阅读 · 2020年3月10日
【NeurIPS2019】图变换网络:Graph Transformer Network
【GNN】深度学习之上,图神经网络(GNN )崛起
产业智能官
16+阅读 · 2019年8月15日
图神经网络火了?谈下它的普适性与局限性
机器之心
22+阅读 · 2019年7月29日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
《新兴技术武器化及其对全球风险的影响》
专知会员服务
6+阅读 · 今天4:27
《帕兰泰尔平台介绍:信息分析平台》
专知会员服务
15+阅读 · 今天4:20
智能体化世界建模:基础、能力、规律及展望
专知会员服务
9+阅读 · 4月28日
美海警海上态势感知无人系统
专知会员服务
6+阅读 · 4月28日
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员