Spectral Graph Neural Networks (GNNs) suffer from two critical limitations: poor performance on "heterophilic" graphs and performance collapse at high polynomial degrees (K), known as over-smoothing. Both issues stem from the static, low-pass nature of standard filters (e.g., ChebyNet). While adaptive polynomial filters, such as the discrete MeixnerNet, have emerged as a potential unified solution, their extension to the continuous domain and stability with unbounded coefficients remain open questions. In this work, we propose `LaguerreNet`, a novel GNN filter based on continuous Laguerre polynomials. `LaguerreNet` learns the filter's spectral shape by making its core alpha parameter trainable, thereby advancing the adaptive polynomial approach. We solve the severe O(k^2) numerical instability of these unbounded polynomials using a `LayerNorm`-based stabilization technique. We demonstrate experimentally that this approach is highly effective: 1) `LaguerreNet` achieves state-of-the-art results on challenging heterophilic benchmarks. 2) It is exceptionally robust to over-smoothing, with performance peaking at K=10, an order of magnitude beyond where ChebyNet collapses.


翻译:谱图神经网络(GNNs)存在两个关键局限:在“异质性”图上的性能不佳,以及在高多项式阶数(K)时出现性能崩溃,即过平滑现象。这两个问题均源于标准滤波器(如ChebyNet)静态、低通的本质。虽然自适应多项式滤波器(如离散MeixnerNet)已成为潜在的统一解决方案,但其向连续域的扩展以及无界系数下的稳定性仍是待解难题。本研究提出`LaguerreNet`——一种基于连续拉盖尔多项式的新型GNN滤波器。`LaguerreNet`通过使其核心参数α可训练来学习滤波器的谱形状,从而推进了自适应多项式方法。我们采用基于`LayerNorm`的稳定化技术,解决了这些无界多项式严重的O(k^2)数值不稳定性问题。实验证明该方法极为有效:1)`LaguerreNet`在具有挑战性的异质性基准测试中取得了最先进的结果;2)其对过平滑具有卓越的鲁棒性,性能在K=10时达到峰值,比ChebyNet崩溃时的阶数高出一个数量级。

0
下载
关闭预览

相关内容

【ICLR2025】RANDLORA: 全秩参数高效微调大规模模型
专知会员服务
15+阅读 · 2025年2月4日
【NeurIPS2019】图变换网络:Graph Transformer Network
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员