Oversmoothing is a fundamental challenge in graph neural networks (GNNs): as the number of layers increases, node embeddings become increasingly similar, and model performance drops sharply. Traditionally, oversmoothing has been quantified using metrics that measure the similarity of neighbouring node features, such as the Dirichlet energy. We argue that these metrics have critical limitations and fail to reliably capture oversmoothing in realistic scenarios. For instance, they provide meaningful insights only for very deep networks, while typical GNNs show a performance drop already with as few as 10 layers. As an alternative, we propose measuring oversmoothing by examining the numerical or effective rank of the feature representations. We provide extensive numerical evaluation across diverse graph architectures and datasets to show that rank-based metrics consistently capture oversmoothing, whereas energy-based metrics often fail. Notably, we reveal that drops in the rank align closely with performance degradation, even in scenarios where energy metrics remain unchanged. Along with the experimental evaluation, we provide theoretical support for this approach, clarifying why Dirichlet-like measures may fail to capture performance drop and proving that the numerical rank of feature representations collapses to one for a broad family of GNN architectures.


翻译:过平滑是图神经网络(GNNs)中的一个基础性挑战:随着网络层数的增加,节点嵌入会变得越来越相似,模型性能急剧下降。传统上,过平滑通常使用度量相邻节点特征相似性的指标来量化,例如狄利克雷能量。我们认为这些指标存在关键局限性,无法在现实场景中可靠地捕捉过平滑现象。例如,它们仅在网络极深时提供有意义的见解,而典型的GNNs在仅有约10层时就已经表现出性能下降。作为替代方案,我们建议通过考察特征表示的数值秩或有效秩来测量过平滑。我们在多种图架构和数据集上进行了广泛的数值评估,结果表明基于秩的指标能一致地捕捉过平滑,而基于能量的指标则常常失效。值得注意的是,我们发现秩的下降与性能退化紧密对应,即使在能量指标保持不变的情况下也是如此。除了实验评估,我们还为此方法提供了理论支持,阐明了为何狄利克雷类度量可能无法捕捉性能下降,并证明了对于一大类GNN架构,其特征表示的数值秩会坍缩至一。

0
下载
关闭预览

相关内容

《图神经网络不确定性》最新综述
专知会员服务
28+阅读 · 2024年3月13日
【ICML2023】图神经网络可以仅从图结构中恢复隐藏特征
专知会员服务
32+阅读 · 2023年4月27日
【ICML2022】图神经网络异常检测的再思考
专知会员服务
35+阅读 · 2022年6月3日
注意力图神经网络的小样本学习
专知会员服务
192+阅读 · 2020年7月16日
【清华大学】图随机神经网络,Graph Random Neural Networks
专知会员服务
156+阅读 · 2020年5月26日
基于图神经网络的推荐算法总结
机器学习与推荐算法
25+阅读 · 2021年9月30日
图神经网络火了?谈下它的普适性与局限性
机器之心
22+阅读 · 2019年7月29日
你的算法可靠吗? 神经网络不确定性度量
专知
40+阅读 · 2019年4月27日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
10+阅读 · 2024年3月11日
VIP会员
最新内容
面向国防作战的最佳自主与蜂群无人机技术
专知会员服务
6+阅读 · 7月28日
《异构人类团队的协作决策过程混合建模研究》
博士论文 | 面向大模型推理的内存高效算法
专知会员服务
5+阅读 · 7月27日
美空军新型反无人机部队初探
专知会员服务
9+阅读 · 7月27日
《防空交战流程的概率建模研究》
专知会员服务
12+阅读 · 7月27日
ICML 2026 教程 | 数值优化理论还重要吗?
专知会员服务
7+阅读 · 7月26日
ICM 2026 | 陶哲轩:人工智能时代的数学
专知会员服务
10+阅读 · 7月26日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员