Graph neural networks (GNNs) are widely used for learning on structured data, yet their ability to distinguish non-isomorphic graphs is fundamentally limited. These limitations are usually attributed to message passing; in this work we show that an independent bottleneck arises at the readout stage. Using finite-dimensional representation theory, we prove that all linear permutation-invariant readouts, including sum and mean pooling, factor through the Reynolds (group-averaging) operator and therefore project node embeddings onto the fixed subspace of the permutation action, erasing all non-trivial symmetry-aware components regardless of encoder expressivity. This yields both a new expressivity barrier and an interpretable characterization of what global pooling preserves or destroys. To overcome this collapse, we introduce projector-based invariant readouts that decompose node representations into symmetry-aware channels and summarize them with nonlinear invariant statistics, preserving permutation invariance while retaining information provably invisible to averaging. Empirically, swapping only the readout enables fixed encoders to separate WL-hard graph pairs and improves performance across multiple benchmarks, demonstrating that readout design is a decisive and under-appreciated factor in GNN expressivity.


翻译:图神经网络(GNN)被广泛用于结构化数据的学习,但其区分非同构图的能力存在根本性限制。这些限制通常归因于消息传递机制;在本研究中,我们揭示了一个独立的瓶颈出现在读出阶段。利用有限维表示理论,我们证明了所有线性置换不变读出操作(包括求和池化与平均池化)均通过雷诺兹(群平均)算子进行分解,从而将节点嵌入投影到置换作用的不变子空间上,无论编码器的表达能力如何,都会消除所有非平凡的对称感知成分。这既产生了一个新的表达能力瓶颈,也为全局池化所保留或破坏的信息提供了可解释的特征描述。为克服这种坍缩,我们引入了基于投影算子的不变读出方法,该方法将节点表示分解为对称感知通道,并使用非线性不变统计量进行汇总,在保持置换不变性的同时,保留了可证明无法被平均操作捕获的信息。实证结果表明,仅替换读出层就可使固定编码器区分Weisfeiler-Lehman算法难以判别的图对,并在多个基准测试中提升了性能,从而证明读出层设计是影响图神经网络表达能力的一个决定性且未被充分重视的因素。

0
下载
关闭预览

相关内容

一份简短《图神经网络GNN》笔记,入门小册
专知会员服务
226+阅读 · 2020年4月11日
【GNN】深度学习之上,图神经网络(GNN )崛起
产业智能官
16+阅读 · 2019年8月15日
图神经网络火了?谈下它的普适性与局限性
机器之心
22+阅读 · 2019年7月29日
Graph Neural Network(GNN)最全资源整理分享
深度学习与NLP
339+阅读 · 2019年7月9日
掌握图神经网络GNN基本,看这篇文章就够了
新智元
164+阅读 · 2019年2月14日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
VIP会员
相关VIP内容
一份简短《图神经网络GNN》笔记,入门小册
专知会员服务
226+阅读 · 2020年4月11日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员