As graph data collected from the real world is merely noise-free, a practical representation of graphs should be robust to noise. Existing research usually focuses on feature smoothing but leaves the geometric structure untouched. Furthermore, most work takes L2-norm that pursues a global smoothness, which limits the expressivity of graph neural networks. This paper tailors regularizers for graph data in terms of both feature and structure noises, where the objective function is efficiently solved with the alternating direction method of multipliers (ADMM). The proposed scheme allows to take multiple layers without the concern of over-smoothing, and it guarantees convergence to the optimal solutions. Empirical study proves that our model achieves significantly better performance compared with popular graph convolutions even when the graph is heavily contaminated.


翻译:由于从真实世界收集的图表数据仅仅是无噪音的,因此,图表的实用表达方式应该对噪音具有很强的活力。现有的研究通常侧重于地貌平滑,但没有触及几何结构。此外,大多数工作都采用L2-norm,追求全球光滑,这限制了图形神经网络的表达性。本文从特征和结构噪音两方面对图形数据进行规范化,其中客观功能与乘数交替方向法(ADMM)有效解决。拟议办法允许在不担心过度悬浮的情况下采用多层,并确保与最佳解决方案趋同。 经验性研究证明,即使在图表受到严重污染的情况下,我们的模型也比流行的图形共变情况要好得多。

0
下载
关闭预览

相关内容

专知会员服务
28+阅读 · 2021年5月2日
最新《深度学习理论》笔记,68页pdf
专知会员服务
50+阅读 · 2021年2月14日
专知会员服务
20+阅读 · 2020年12月9日
专知会员服务
54+阅读 · 2020年11月3日
专知会员服务
46+阅读 · 2020年10月31日
【Google】平滑对抗训练,Smooth Adversarial Training
专知会员服务
49+阅读 · 2020年7月4日
【干货书】真实机器学习,264页pdf,Real-World Machine Learning
鲁棒机器学习相关文献集
专知
8+阅读 · 2019年8月18日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
【荟萃】知识图谱论文与笔记
专知
71+阅读 · 2019年3月25日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Arxiv
7+阅读 · 2021年10月19日
Arxiv
10+阅读 · 2021年2月26日
Arxiv
13+阅读 · 2019年11月14日
Self-Attention Graph Pooling
Arxiv
5+阅读 · 2019年4月17日
VIP会员
最新内容
《军事模拟:将军事条令与目标融入AI智能体》
专知会员服务
1+阅读 · 8分钟前
【NTU博士论文】3D人体动作生成
专知会员服务
2+阅读 · 4月24日
以色列军事技术对美国军力发展的持续性赋能
专知会员服务
8+阅读 · 4月24日
《深度强化学习在兵棋推演中的应用》40页报告
专知会员服务
11+阅读 · 4月24日
《多域作战面临复杂现实》
专知会员服务
8+阅读 · 4月24日
《印度的多域作战:条令与能力发展》报告
专知会员服务
3+阅读 · 4月24日
相关VIP内容
专知会员服务
28+阅读 · 2021年5月2日
最新《深度学习理论》笔记,68页pdf
专知会员服务
50+阅读 · 2021年2月14日
专知会员服务
20+阅读 · 2020年12月9日
专知会员服务
54+阅读 · 2020年11月3日
专知会员服务
46+阅读 · 2020年10月31日
【Google】平滑对抗训练,Smooth Adversarial Training
专知会员服务
49+阅读 · 2020年7月4日
【干货书】真实机器学习,264页pdf,Real-World Machine Learning
相关资讯
鲁棒机器学习相关文献集
专知
8+阅读 · 2019年8月18日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
【荟萃】知识图谱论文与笔记
专知
71+阅读 · 2019年3月25日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Top
微信扫码咨询专知VIP会员