Graph Neural Networks (GNNs) are powerful at solving graph classification tasks, yet applied problems often contain noisy labels. In this work, we study GNN robustness to label noise, demonstrate GNN failure modes when models struggle to generalise on low-order graphs, low label coverage, or when a model is over-parameterized. We establish both empirical and theoretical links between GNN robustness and the reduction of the total Dirichlet Energy of learned node representations, which encapsulates the hypothesized GNN smoothness inductive bias. Finally, we introduce two training strategies to enhance GNN robustness: (1) by incorporating a novel inductive bias in the weight matrices through the removal of negative eigenvalues, connected to Dirichlet Energy minimization; (2) by extending to GNNs a loss penalty that promotes learned smoothness. Importantly, neither approach negatively impacts performance in noise-free settings, supporting our hypothesis that the source of GNNs robustness is their smoothness inductive bias.


翻译:图神经网络(GNNs)在解决图分类任务方面表现出强大能力,然而实际应用问题常包含噪声标签。本研究探讨了GNN对标签噪声的鲁棒性,揭示了模型在低阶图、低标签覆盖率或过参数化情况下难以泛化时的失效模式。我们通过学习的节点表示的总狄利克雷能量(该指标体现了假设的GNN平滑性归纳偏置)建立了GNN鲁棒性与能量降低之间的实证与理论联系。最后,我们提出两种增强GNN鲁棒性的训练策略:(1)通过去除负特征值在权重矩阵中引入新颖的归纳偏置,该方法与狄利克雷能量最小化相关联;(2)将促进学习平滑性的损失惩罚项扩展至GNNs。重要的是,两种方法在无噪声环境下均不会对性能产生负面影响,这支持了我们的假设:GNN鲁棒性的根源在于其平滑性归纳偏置。

0
下载
关闭预览

相关内容

图机器学习的核心原理:表征、鲁棒性与泛化性
【WWW2024】自引导鲁棒图结构精化
专知会员服务
17+阅读 · 2024年4月26日
图神经网络可解释性,附45页ppt,Simone Scardapane讲授
专知会员服务
84+阅读 · 2022年7月16日
【Google AI】鲁棒图神经网络,Robust Graph Neural Networks
专知会员服务
38+阅读 · 2022年3月9日
【WSDM2021】拓扑去噪的鲁棒图神经网络
专知会员服务
27+阅读 · 2020年11月14日
专知会员服务
72+阅读 · 2020年9月20日
专知会员服务
29+阅读 · 2020年8月8日
基于图神经网络的推荐算法总结
机器学习与推荐算法
25+阅读 · 2021年9月30日
【KDD2020】图神经网络生成式预训练
专知
23+阅读 · 2020年7月3日
图神经网络火了?谈下它的普适性与局限性
机器之心
22+阅读 · 2019年7月29日
Graph Neural Network(GNN)最全资源整理分享
深度学习与NLP
339+阅读 · 2019年7月9日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关VIP内容
图机器学习的核心原理:表征、鲁棒性与泛化性
【WWW2024】自引导鲁棒图结构精化
专知会员服务
17+阅读 · 2024年4月26日
图神经网络可解释性,附45页ppt,Simone Scardapane讲授
专知会员服务
84+阅读 · 2022年7月16日
【Google AI】鲁棒图神经网络,Robust Graph Neural Networks
专知会员服务
38+阅读 · 2022年3月9日
【WSDM2021】拓扑去噪的鲁棒图神经网络
专知会员服务
27+阅读 · 2020年11月14日
专知会员服务
72+阅读 · 2020年9月20日
专知会员服务
29+阅读 · 2020年8月8日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员