Oversmoothing is a fundamental challenge in graph neural networks (GNNs): as the number of layers increases, node embeddings become increasingly similar, and model performance drops sharply. Traditionally, oversmoothing has been quantified using metrics that measure the similarity of neighbouring node features, such as the Dirichlet energy. We argue that these metrics have critical limitations and fail to reliably capture oversmoothing in realistic scenarios. For instance, they provide meaningful insights only for very deep networks, while typical GNNs show a performance drop already with as few as 10 layers. As an alternative, we propose measuring oversmoothing by examining the numerical or effective rank of the feature representations. We provide extensive numerical evaluation across diverse graph architectures and datasets to show that rank-based metrics consistently capture oversmoothing, whereas energy-based metrics often fail. Notably, we reveal that drops in the rank align closely with performance degradation, even in scenarios where energy metrics remain unchanged. Along with the experimental evaluation, we provide theoretical support for this approach, clarifying why Dirichlet-like measures may fail to capture performance drop and proving that the numerical rank of feature representations collapses to one for a broad family of GNN architectures.


翻译:过平滑是图神经网络(GNNs)中的一个基础性挑战:随着网络层数的增加,节点嵌入会变得越来越相似,模型性能急剧下降。传统上,过平滑通常使用度量相邻节点特征相似性的指标来量化,例如狄利克雷能量。我们认为这些指标存在关键局限性,无法在现实场景中可靠地捕捉过平滑现象。例如,它们仅在网络极深时提供有意义的见解,而典型的GNNs在仅有约10层时就已经表现出性能下降。作为替代方案,我们建议通过考察特征表示的数值秩或有效秩来测量过平滑。我们在多种图架构和数据集上进行了广泛的数值评估,结果表明基于秩的指标能一致地捕捉过平滑,而基于能量的指标则常常失效。值得注意的是,我们发现秩的下降与性能退化紧密对应,即使在能量指标保持不变的情况下也是如此。除了实验评估,我们还为此方法提供了理论支持,阐明了为何狄利克雷类度量可能无法捕捉性能下降,并证明了对于一大类GNN架构,其特征表示的数值秩会坍缩至一。

0
下载
关闭预览

相关内容

《图神经网络不确定性》最新综述
专知会员服务
28+阅读 · 2024年3月13日
【ICML2023】图神经网络可以仅从图结构中恢复隐藏特征
专知会员服务
32+阅读 · 2023年4月27日
【ICML2022】图神经网络异常检测的再思考
专知会员服务
35+阅读 · 2022年6月3日
注意力图神经网络的小样本学习
专知会员服务
192+阅读 · 2020年7月16日
【清华大学】图随机神经网络,Graph Random Neural Networks
专知会员服务
156+阅读 · 2020年5月26日
基于图神经网络的推荐算法总结
机器学习与推荐算法
25+阅读 · 2021年9月30日
图神经网络火了?谈下它的普适性与局限性
机器之心
22+阅读 · 2019年7月29日
你的算法可靠吗? 神经网络不确定性度量
专知
40+阅读 · 2019年4月27日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
10+阅读 · 2024年3月11日
VIP会员
最新内容
2025年大语言模型进展报告
专知会员服务
1+阅读 · 今天13:30
多智能体协作机制
专知会员服务
1+阅读 · 今天13:26
非对称优势:美海军开发低成本反无人机技术
专知会员服务
4+阅读 · 今天4:39
《美战争部小企业创新研究(SBIR)计划》
专知会员服务
6+阅读 · 今天2:48
《军事模拟:将军事条令与目标融入AI智能体》
专知会员服务
9+阅读 · 今天2:43
【NTU博士论文】3D人体动作生成
专知会员服务
7+阅读 · 4月24日
以色列军事技术对美国军力发展的持续性赋能
专知会员服务
8+阅读 · 4月24日
《深度强化学习在兵棋推演中的应用》40页报告
专知会员服务
14+阅读 · 4月24日
《多域作战面临复杂现实》
专知会员服务
10+阅读 · 4月24日
《印度的多域作战:条令与能力发展》报告
专知会员服务
5+阅读 · 4月24日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员