会员服务

【斯坦福大学-ICLR2020】图神经网络预训练的策略

2020 年 3 月 1 日 专知
机器学习的许多应用都需要一个模型来对测试样本做出准确的预测，这些测试样本在分布上与训练示例不同，而在训练期间，特定于任务的标签很少。 应对这一挑战的有效方法是，在数据丰富的相关任务上对模型进行预训练，然后在下游任务上对其进行微调。 尽管预训练在许多语言和视觉领域都是有效的，但是如何在图数据集上有效地使用预训练仍是一个有待解决的问题。 本文提出了一种新的图神经网络训练策略和自监督方法。 我们的策略成功的关键是在单个节点以及整个图的层次上预训练一个具有强表示能力的GNN，以便GNN能够同时学习有用的局部和全局表示。 我们系统地研究了多类图分类数据集的预处理问题。 我们发现，在整个图或单个节点级别上对GNN进行预训练的朴素策略改进有限，甚至可能导致许多下游任务的负迁移。 相比之下，我们的策略避免了负迁移，显著提高了下游任务的泛化能力，使得ROC-AUC相对于未经训练的模型提高了9.4%，实现了分子特性预测和蛋白质功能预测的最好性能。
地址：
https://openreview.net/pdf?id=HJlWWJSFDH

专知便捷查看
便捷下载，请关注专知公众号（点击上方蓝色专知关注）
  • 后台回复“SPGNN” 就可以获取《图神经网络预训练的策略》论文专知下载链接
专知，专业可信的人工智能知识分发，让认知协作更快更好！欢迎注册登录专知www.zhuanzhi.ai，获取5000+AI主题干货知识资料！
欢迎微信扫一扫加入专知人工智能知识星球群，获取最新AI专业干货知识教程资料和与专家交流咨询！
点击“阅读原文”，了解使用专知，查看获取5000+AI主题知识资源
登录查看更多
2

相关内容

【KDD2020】图神经网络生成式预训练，GPT-GNN: Generative Pre-Training of Graph Neural Networks
【KDD2020】图神经网络生成式预训练，GPT-GNN: Generative Pre-Training of Graph Neural Networks
专知会员服务
99+阅读 · 2020年7月3日
【KDD2020-清华大学】图对比编码的图神经网络预训练
【KDD2020-清华大学】图对比编码的图神经网络预训练
专知会员服务
46+阅读 · 2020年6月18日
【KDD2020-MSU】图结构学习的鲁棒图神经网络，克服对抗攻击提升GNN防御能力
【KDD2020-MSU】图结构学习的鲁棒图神经网络，克服对抗攻击提升GNN防御能力
专知会员服务
44+阅读 · 2020年5月21日
【斯坦福大学-ICLR2020】图神经网络预训练的策略，Strategies for Pre-training Graph Neural Networks
【斯坦福大学-ICLR2020】图神经网络预训练的策略，Strategies for Pre-training Graph Neural Networks
专知会员服务
78+阅读 · 2020年3月1日
八篇NeurIPS 2019【图神经网络（GNN）】相关论文
八篇NeurIPS 2019【图神经网络（GNN）】相关论文
专知会员服务
44+阅读 · 2020年1月10日
图卷积神经网络蒸馏知识，Distillating Knowledge from GCN
图卷积神经网络蒸馏知识，Distillating Knowledge from GCN
专知
41+阅读 · 2020年3月25日
【MIT-伯克利-ICLR2020】对比表示蒸馏，Contrastive Representation Distillation
【MIT-伯克利-ICLR2020】对比表示蒸馏，Contrastive Representation Distillation
专知
54+阅读 · 2020年3月12日
【WWW2020论文-香港中文大学】MAGNN:异构图嵌入的集合图神经网络
【WWW2020论文-香港中文大学】MAGNN:异构图嵌入的集合图神经网络
专知
33+阅读 · 2020年2月13日
【报告分享】图神经网络在自然语言处理领域的前沿应用
【报告分享】图神经网络在自然语言处理领域的前沿应用
专知
47+阅读 · 2019年10月22日
清华大学孙茂松课题组:《图神经网络: 方法与应用》综述论文，20页pdf
清华大学孙茂松课题组:《图神经网络: 方法与应用》综述论文，20页pdf
专知
49+阅读 · 2018年12月23日
A Collective Learning Framework to Boost GNN Expressiveness
A Collective Learning Framework to Boost GNN Expressiveness
Arxiv
20+阅读 · 2020年3月26日
Optimization for deep learning: theory and algorithms
Optimization for deep learning: theory and algorithms
Arxiv
106+阅读 · 2019年12月19日
Text Classification Algorithms: A Survey
Arxiv
4+阅读 · 2019年4月17日
A Comprehensive Survey on Graph Neural Networks
A Comprehensive Survey on Graph Neural Networks
Arxiv
21+阅读 · 2019年1月3日
Knowledge Graph Completion to Predict Polypharmacy Side Effects
Arxiv
3+阅读 · 2018年10月22日
VIP会员
相关主题
图神经网络预训练
测试样本
ICLR2020
预训练
图神经网络
ICLR
相关VIP内容
【KDD2020】图神经网络生成式预训练，GPT-GNN: Generative Pre-Training of Graph Neural Networks
【KDD2020】图神经网络生成式预训练，GPT-GNN: Generative Pre-Training of Graph Neural Networks
专知会员服务
99+阅读 · 2020年7月3日
【KDD2020-清华大学】图对比编码的图神经网络预训练
【KDD2020-清华大学】图对比编码的图神经网络预训练
专知会员服务
46+阅读 · 2020年6月18日
【KDD2020-MSU】图结构学习的鲁棒图神经网络，克服对抗攻击提升GNN防御能力
【KDD2020-MSU】图结构学习的鲁棒图神经网络，克服对抗攻击提升GNN防御能力
专知会员服务
44+阅读 · 2020年5月21日
【斯坦福大学-ICLR2020】图神经网络预训练的策略，Strategies for Pre-training Graph Neural Networks
【斯坦福大学-ICLR2020】图神经网络预训练的策略，Strategies for Pre-training Graph Neural Networks
专知会员服务
78+阅读 · 2020年3月1日
八篇NeurIPS 2019【图神经网络（GNN）】相关论文
八篇NeurIPS 2019【图神经网络（GNN）】相关论文
专知会员服务
44+阅读 · 2020年1月10日
热门VIP内容
相关资讯
图卷积神经网络蒸馏知识，Distillating Knowledge from GCN
图卷积神经网络蒸馏知识，Distillating Knowledge from GCN
专知
41+阅读 · 2020年3月25日
【MIT-伯克利-ICLR2020】对比表示蒸馏，Contrastive Representation Distillation
【MIT-伯克利-ICLR2020】对比表示蒸馏，Contrastive Representation Distillation
专知
54+阅读 · 2020年3月12日
【WWW2020论文-香港中文大学】MAGNN:异构图嵌入的集合图神经网络
【WWW2020论文-香港中文大学】MAGNN:异构图嵌入的集合图神经网络
专知
33+阅读 · 2020年2月13日
【报告分享】图神经网络在自然语言处理领域的前沿应用
【报告分享】图神经网络在自然语言处理领域的前沿应用
专知
47+阅读 · 2019年10月22日
清华大学孙茂松课题组:《图神经网络: 方法与应用》综述论文，20页pdf
清华大学孙茂松课题组:《图神经网络: 方法与应用》综述论文，20页pdf
专知
49+阅读 · 2018年12月23日
相关论文
A Collective Learning Framework to Boost GNN Expressiveness
A Collective Learning Framework to Boost GNN Expressiveness
Arxiv
20+阅读 · 2020年3月26日
Optimization for deep learning: theory and algorithms
Optimization for deep learning: theory and algorithms
Arxiv
106+阅读 · 2019年12月19日
Text Classification Algorithms: A Survey
Arxiv
4+阅读 · 2019年4月17日
A Comprehensive Survey on Graph Neural Networks
A Comprehensive Survey on Graph Neural Networks
Arxiv
21+阅读 · 2019年1月3日
Knowledge Graph Completion to Predict Polypharmacy Side Effects
Arxiv
3+阅读 · 2018年10月22日
大家都在搜
  1. 分布式事务
  2. 篮球制作
  3. 最新报告
  4. 俄乌战争
  5. MIT博士论文
  6. 助贷模式
  7. 对抗特征转移
  8. 空调系统知识图谱
  9. 苹果手机
  10. 对话拼多多创始人黄峥
    11.
Top
微信扫码咨询专知VIP会员
Top