图卷积网络(GCN)的原始设计将特征转换和邻域聚合结合起来用于节点表示学习。最近,一些研究表明耦合不如解耦,它更好地支持深度图传播,已成为GCN的最新范式(如APPNP[16]和SGCN[32])。尽管有效,解耦的GCN的工作机制并没有被很好地理解。

本文从标签传播的新视角出发,探讨了半监督节点分类的解耦GCN。解耦图神经网络(decoupled GCN)已经成为图神经网络主流的设计范式,其将特征变换和邻居聚合分离开来,克服了原始图神经网络的诸多问题,取得了更好的效果。我们从梯度的角度发现,解耦图卷积网络和两步的标签传播(Label Propagation, LP)是等价的:(1)根据图结构传播已知的标签,为有标签节点的邻居打上标签;(2)利用增强的伪标签数据训练一个正常的神经网络分类器。 基于理论分析,我们发现解耦图卷积网络的缺点:(1)对标签噪声敏感;(2)对初始值敏感。为此,我们提出自适应地传播再训练(PTA),通过两个设计解决了上述问题:(1)去除权重对标签的初始化;(2)引入自适应因子。

成为VIP会员查看完整内容
28

相关内容

专知会员服务
69+阅读 · 2021年4月27日
专知会员服务
30+阅读 · 2021年2月26日
【WWW2021】用优化框架解释和统一图神经网络
专知会员服务
45+阅读 · 2021年2月1日
【AAAI2021】图卷积网络中的低频和高频信息作用
专知会员服务
59+阅读 · 2021年1月6日
专知会员服务
108+阅读 · 2020年12月21日
KDD20 | AM-GCN:自适应多通道图卷积网络
专知会员服务
40+阅读 · 2020年8月26日
【KDD2020】自适应多通道图卷积神经网络
专知会员服务
121+阅读 · 2020年7月9日
【SIGIR2020】LightGCN: 简化和增强图卷积网络推荐
专知会员服务
73+阅读 · 2020年6月1日
【CVPR2020】L2 ^GCN:图卷积网络的分层学习高效训练
专知会员服务
40+阅读 · 2020年3月31日
专知会员服务
100+阅读 · 2020年2月20日
KDD20 | AM-GCN:自适应多通道图卷积网络
专知
8+阅读 · 2020年8月26日
图神经网络时代的深度聚类
图与推荐
6+阅读 · 2020年5月16日
图神经网络三剑客:GCN、GAT与GraphSAGE
PaperWeekly
65+阅读 · 2020年2月27日
图注意力网络
科技创新与创业
35+阅读 · 2017年11月22日
基于注意力机制的图卷积网络
科技创新与创业
74+阅读 · 2017年11月8日
Adversarial Mutual Information for Text Generation
Arxiv
13+阅读 · 2020年6月30日
Arxiv
4+阅读 · 2019年1月14日
Arxiv
3+阅读 · 2018年8月17日
VIP会员
最新内容
最新“指挥控制”领域出版物合集(简介)
专知会员服务
1+阅读 · 今天15:19
面向军事作战需求开发的人工智能(RAIMOND)
专知会员服务
3+阅读 · 今天15:13
软件定义多域战术网络:基础与未来方向(综述)
水下战战术决策中的气象与海洋预报(50页报告)
远程空中优势:新一代超视距导弹的兴起
专知会员服务
1+阅读 · 今天14:45
大语言模型溯因推理的统一分类学与综述
专知会员服务
0+阅读 · 今天12:07
相关VIP内容
专知会员服务
69+阅读 · 2021年4月27日
专知会员服务
30+阅读 · 2021年2月26日
【WWW2021】用优化框架解释和统一图神经网络
专知会员服务
45+阅读 · 2021年2月1日
【AAAI2021】图卷积网络中的低频和高频信息作用
专知会员服务
59+阅读 · 2021年1月6日
专知会员服务
108+阅读 · 2020年12月21日
KDD20 | AM-GCN:自适应多通道图卷积网络
专知会员服务
40+阅读 · 2020年8月26日
【KDD2020】自适应多通道图卷积神经网络
专知会员服务
121+阅读 · 2020年7月9日
【SIGIR2020】LightGCN: 简化和增强图卷积网络推荐
专知会员服务
73+阅读 · 2020年6月1日
【CVPR2020】L2 ^GCN:图卷积网络的分层学习高效训练
专知会员服务
40+阅读 · 2020年3月31日
专知会员服务
100+阅读 · 2020年2月20日
相关资讯
KDD20 | AM-GCN:自适应多通道图卷积网络
专知
8+阅读 · 2020年8月26日
图神经网络时代的深度聚类
图与推荐
6+阅读 · 2020年5月16日
图神经网络三剑客:GCN、GAT与GraphSAGE
PaperWeekly
65+阅读 · 2020年2月27日
图注意力网络
科技创新与创业
35+阅读 · 2017年11月22日
基于注意力机制的图卷积网络
科技创新与创业
74+阅读 · 2017年11月8日
微信扫码咨询专知VIP会员