Over-smoothing and over-squashing have been extensively studied in the literature on Graph Neural Networks (GNNs) over the past years. We challenge this prevailing focus in GNN research, arguing that these phenomena are less critical for practical applications than assumed. We suggest that performance decreases often stem from uninformative receptive fields rather than over-smoothing. We support this position with extensive experiments on several standard benchmark datasets, demonstrating that accuracy and over-smoothing are mostly uncorrelated and that optimal model depths remain small even with mitigation techniques, thus highlighting the negligible role of over-smoothing. Similarly, we challenge that over-squashing is always detrimental in practical applications. Instead, we posit that the distribution of relevant information over the graph frequently factorises and is often localised within a small k-hop neighbourhood, questioning the necessity of jointly observing entire receptive fields or engaging in an extensive search for long-range interactions. The results of our experiments show that architectural interventions designed to mitigate over-squashing fail to yield significant performance gains. This position paper advocates for a paradigm shift in theoretical research, urging a diligent analysis of learning tasks and datasets using statistics that measure the underlying distribution of label-relevant information to better understand their localisation and factorisation.


翻译:过去几年中,图神经网络(GNNs)领域的文献对过平滑与过挤压现象进行了广泛研究。本文挑战当前GNN研究中的主流关注点,认为这些现象在实际应用中的重要性被高估。我们指出性能下降往往源于感受野的信息匮乏,而非过平滑效应。通过在多组标准基准数据集上的大量实验,我们证实准确率与过平滑程度基本无关,且即使采用缓解技术后最优模型深度仍保持较浅,这凸显了过平滑影响的微乎其微。同样,我们质疑过挤压在实际应用中必然产生负面影响的传统认知。相反,我们认为图中相关信息的分布常呈现因子化特征,且多局限于较小的k跳邻域内,这引发了对联合观察整个感受野或广泛搜索长程交互必要性的反思。实验结果表明,专为缓解过挤压设计的架构干预未能带来显著性能提升。本立场论文主张理论研究应进行范式转变,建议通过测量标签相关信息底层分布的统计量,对学习任务与数据集开展精细化分析,从而更准确地理解其局部化与因子化特性。

0
下载
关闭预览

相关内容

《图神经网络不确定性》最新综述
专知会员服务
28+阅读 · 2024年3月13日
图神经网络可解释性,附45页ppt,Simone Scardapane讲授
专知会员服务
84+阅读 · 2022年7月16日
专知会员服务
19+阅读 · 2021年4月3日
注意力图神经网络的小样本学习
专知会员服务
192+阅读 · 2020年7月16日
图神经网络火了?谈下它的普适性与局限性
机器之心
22+阅读 · 2019年7月29日
掌握图神经网络GNN基本,看这篇文章就够了
新智元
164+阅读 · 2019年2月14日
换个角度看GAN:另一种损失函数
机器之心
16+阅读 · 2019年1月1日
图神经网络最近这么火,不妨看看我们精选的这七篇
人工智能前沿讲习班
37+阅读 · 2018年12月10日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员