We propose an adaptive node feature selection approach for graph neural networks (GNNs) that identifies and removes unnecessary features during training. The ability to measure how features contribute to model output is key for interpreting decisions and reducing dimensionality by eliminating unhelpful variables. However, graph-structured data introduces complex dependencies that may be unsuited to classical feature importance metrics. Inspired by this, we present a data-, model-, and task-agnostic method that determines relevant features during training based on changes in validation performance upon permuting feature values. We theoretically motivate our approach by characterizing how the relationships between node data and graph structure influences GNN performance. Empirically, we show that (i) our highly general approach rivals the performance of tailored feature selection approaches that exploit prior assumptions; (ii) we return meaningful feature importance scores well before the GNN is fully trained; and (iii) our scores demonstrably extract relevant properties that inform feature importance for various graph learning settings.


翻译:我们提出了一种用于图神经网络(GNN)的自适应节点特征选择方法,能够在训练过程中识别并移除不必要的特征。衡量特征对模型输出的贡献能力,对于解释模型决策以及通过消除无帮助变量来降低维度至关重要。然而,图结构数据引入了复杂的依赖关系,使得传统特征重要性指标可能不再适用。受此启发,我们提出了一种与数据、模型和任务无关的方法,通过基于特征值置换后验证集性能的变化,在训练过程中确定相关特征。我们从理论上论证了该方法:通过刻画节点数据与图结构之间关系如何影响GNN性能,为方法提供理论支撑。实验表明:(i) 我们高度通用的方法可与利用先验假设的定制化特征选择方法相媲美;(ii) 在GNN完全训练之前,我们就能返回有意义的特征重要性评分;(iii) 我们的评分能够明确提取出与图学习各类场景中特征重要性相关的关键属性。

0
下载
关闭预览

相关内容

特征选择( Feature Selection )也称特征子集选择( Feature Subset Selection , FSS ),或属性选择( Attribute Selection )。是指从已有的M个特征(Feature)中选择N个特征使得系统的特定指标最优化,是从原始特征中选择出一些最有效特征以降低数据集维度的过程,是提高学习算法性能的一个重要手段,也是模式识别中关键的数据预处理步骤。对于一个学习算法来说,好的学习样本是训练模型的关键。
【WWW2024】使用图神经网络的消歧节点分类
专知会员服务
21+阅读 · 2024年2月15日
【LoG2023】图神经网络推荐:再现性、图拓扑和节点表示
专知会员服务
26+阅读 · 2023年12月1日
【Google AI】鲁棒图神经网络,Robust Graph Neural Networks
专知会员服务
38+阅读 · 2022年3月9日
专知会员服务
66+阅读 · 2021年7月25日
【NeurIPS2020】点针图网络,Pointer Graph Networks
专知会员服务
40+阅读 · 2020年9月27日
专知会员服务
29+阅读 · 2020年8月8日
【清华大学】图随机神经网络,Graph Random Neural Networks
专知会员服务
156+阅读 · 2020年5月26日
基于图神经网络的推荐算法总结
机器学习与推荐算法
25+阅读 · 2021年9月30日
【GNN】深度学习之上,图神经网络(GNN )崛起
产业智能官
16+阅读 · 2019年8月15日
图神经网络火了?谈下它的普适性与局限性
机器之心
22+阅读 · 2019年7月29日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
Arxiv
10+阅读 · 2023年8月13日
Arxiv
14+阅读 · 2021年7月20日
VIP会员
最新内容
综述 | 3D场景图:开放挑战与未来方向
专知会员服务
0+阅读 · 12分钟前
21世纪的无人机战争
专知会员服务
1+阅读 · 今天14:05
《量子技术的军事任务技术适配与利用》
专知会员服务
1+阅读 · 今天13:51
美国从乌克兰无人机战争中学习经验
专知会员服务
7+阅读 · 6月21日
ICML 2026 | 面向视觉语言模型的语义鲁棒性认证
专知会员服务
5+阅读 · 6月21日
相关VIP内容
【WWW2024】使用图神经网络的消歧节点分类
专知会员服务
21+阅读 · 2024年2月15日
【LoG2023】图神经网络推荐:再现性、图拓扑和节点表示
专知会员服务
26+阅读 · 2023年12月1日
【Google AI】鲁棒图神经网络,Robust Graph Neural Networks
专知会员服务
38+阅读 · 2022年3月9日
专知会员服务
66+阅读 · 2021年7月25日
【NeurIPS2020】点针图网络,Pointer Graph Networks
专知会员服务
40+阅读 · 2020年9月27日
专知会员服务
29+阅读 · 2020年8月8日
【清华大学】图随机神经网络,Graph Random Neural Networks
专知会员服务
156+阅读 · 2020年5月26日
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员