会员服务

【斯坦福大学-ICLR2020】图神经网络预训练的策略

2020 年 3 月 1 日 专知
机器学习的许多应用都需要一个模型来对测试样本做出准确的预测，这些测试样本在分布上与训练示例不同，而在训练期间，特定于任务的标签很少。 应对这一挑战的有效方法是，在数据丰富的相关任务上对模型进行预训练，然后在下游任务上对其进行微调。 尽管预训练在许多语言和视觉领域都是有效的，但是如何在图数据集上有效地使用预训练仍是一个有待解决的问题。 本文提出了一种新的图神经网络训练策略和自监督方法。 我们的策略成功的关键是在单个节点以及整个图的层次上预训练一个具有强表示能力的GNN，以便GNN能够同时学习有用的局部和全局表示。 我们系统地研究了多类图分类数据集的预处理问题。 我们发现，在整个图或单个节点级别上对GNN进行预训练的朴素策略改进有限，甚至可能导致许多下游任务的负迁移。 相比之下，我们的策略避免了负迁移，显著提高了下游任务的泛化能力，使得ROC-AUC相对于未经训练的模型提高了9.4%，实现了分子特性预测和蛋白质功能预测的最好性能。
地址：
https://openreview.net/pdf?id=HJlWWJSFDH

专知便捷查看
便捷下载，请关注专知公众号（点击上方蓝色专知关注）
  • 后台回复“SPGNN” 就可以获取《图神经网络预训练的策略》论文专知下载链接
专知，专业可信的人工智能知识分发，让认知协作更快更好！欢迎注册登录专知www.zhuanzhi.ai，获取5000+AI主题干货知识资料！
欢迎微信扫一扫加入专知人工智能知识星球群，获取最新AI专业干货知识教程资料和与专家交流咨询！
点击“阅读原文”，了解使用专知，查看获取5000+AI主题知识资源
登录查看更多
2

相关内容

【KDD2020】图神经网络生成式预训练，GPT-GNN: Generative Pre-Training of Graph Neural Networks
【KDD2020】图神经网络生成式预训练，GPT-GNN: Generative Pre-Training of Graph Neural Networks
专知会员服务
99+阅读 · 2020年7月3日
【NeurIPS2020提交论文】建立具有消息传递的等变图神经网络
【NeurIPS2020提交论文】建立具有消息传递的等变图神经网络
专知会员服务
50+阅读 · 2020年6月29日
【KDD2020-清华大学】图对比编码的图神经网络预训练
【KDD2020-清华大学】图对比编码的图神经网络预训练
专知会员服务
46+阅读 · 2020年6月18日
近期必读的五篇数据挖掘顶会KDD 2020【图神经网络 (GNN) 】相关论文
近期必读的五篇数据挖掘顶会KDD 2020【图神经网络 (GNN) 】相关论文
专知会员服务
93+阅读 · 2020年5月26日
【KDD2020-MSU】图结构学习的鲁棒图神经网络，克服对抗攻击提升GNN防御能力
【KDD2020-MSU】图结构学习的鲁棒图神经网络，克服对抗攻击提升GNN防御能力
专知会员服务
44+阅读 · 2020年5月21日
【斯坦福大学-ICLR2020】图神经网络预训练的策略，Strategies for Pre-training Graph Neural Networks
【斯坦福大学-ICLR2020】图神经网络预训练的策略，Strategies for Pre-training Graph Neural Networks
专知会员服务
78+阅读 · 2020年3月1日
近期必读的12篇KDD 2019【图神经网络（GNN）】相关论文
近期必读的12篇KDD 2019【图神经网络（GNN）】相关论文
专知会员服务
63+阅读 · 2020年1月10日
八篇NeurIPS 2019【图神经网络（GNN）】相关论文
八篇NeurIPS 2019【图神经网络（GNN）】相关论文
专知会员服务
44+阅读 · 2020年1月10日
【图神经网络综述】图神经网络的方法和应用，清华大学周杰
【图神经网络综述】图神经网络的方法和应用，清华大学周杰
专知会员服务
474+阅读 · 2019年12月15日
【ICLR2020】五篇Open代码的GNN论文
【ICLR2020】五篇Open代码的GNN论文
专知会员服务
48+阅读 · 2019年10月2日
【CVPR2020-清华大学】渐进对抗网络的细粒度域适应，Progressive Adversarial Networks
【CVPR2020-清华大学】渐进对抗网络的细粒度域适应，Progressive Adversarial Networks
专知
31+阅读 · 2020年4月4日
图卷积神经网络蒸馏知识，Distillating Knowledge from GCN
图卷积神经网络蒸馏知识，Distillating Knowledge from GCN
专知
41+阅读 · 2020年3月25日
【MIT-伯克利-ICLR2020】对比表示蒸馏，Contrastive Representation Distillation
【MIT-伯克利-ICLR2020】对比表示蒸馏，Contrastive Representation Distillation
专知
54+阅读 · 2020年3月12日
【WWW2020论文-香港中文大学】MAGNN:异构图嵌入的集合图神经网络
【WWW2020论文-香港中文大学】MAGNN:异构图嵌入的集合图神经网络
专知
33+阅读 · 2020年2月13日
图神经网络的ImageNet？斯坦福大学等开源百万量级OGB基准测试数据集
图神经网络的ImageNet？斯坦福大学等开源百万量级OGB基准测试数据集
机器之心
6+阅读 · 2019年12月23日
【资源】NLP领域图神经网络(GNN) 应用相关论文列表
【资源】NLP领域图神经网络(GNN) 应用相关论文列表
专知
39+阅读 · 2019年10月22日
【报告分享】图神经网络在自然语言处理领域的前沿应用
【报告分享】图神经网络在自然语言处理领域的前沿应用
专知
47+阅读 · 2019年10月22日
八篇NeurIPS 2019最新公布的【图神经网络（GNN）】相关论文
八篇NeurIPS 2019最新公布的【图神经网络（GNN）】相关论文
专知
75+阅读 · 2019年9月10日
斯坦福Jure Leskovec：图神经网络表达能力有多强
斯坦福Jure Leskovec：图神经网络表达能力有多强
专知
39+阅读 · 2019年2月18日
清华大学孙茂松课题组:《图神经网络: 方法与应用》综述论文，20页pdf
清华大学孙茂松课题组:《图神经网络: 方法与应用》综述论文，20页pdf
专知
49+阅读 · 2018年12月23日
A Collective Learning Framework to Boost GNN Expressiveness
A Collective Learning Framework to Boost GNN Expressiveness
Arxiv
20+阅读 · 2020年3月26日
AdarGCN: Adaptive Aggregation GCN for Few-Shot Learning
AdarGCN: Adaptive Aggregation GCN for Few-Shot Learning
Arxiv
4+阅读 · 2020年3月9日
Optimization for deep learning: theory and algorithms
Optimization for deep learning: theory and algorithms
Arxiv
106+阅读 · 2019年12月19日
Text Classification Algorithms: A Survey
Arxiv
4+阅读 · 2019年4月17日
Learning Graph Embedding with Adversarial Training Methods
Learning Graph Embedding with Adversarial Training Methods
Arxiv
6+阅读 · 2019年1月4日
A Comprehensive Survey on Graph Neural Networks
A Comprehensive Survey on Graph Neural Networks
Arxiv
21+阅读 · 2019年1月3日
Knowledge Graph Completion to Predict Polypharmacy Side Effects
Arxiv
3+阅读 · 2018年10月22日
End-to-End Video Captioning with Multitask Reinforcement Learning
Arxiv
5+阅读 · 2018年3月21日
Enhancing Network Embedding with Auxiliary Information: An Explicit Matrix Factorization Perspective
Arxiv
3+阅读 · 2018年3月5日
KBGAN: Adversarial Learning for Knowledge Graph Embeddings
Arxiv
6+阅读 · 2018年2月20日
VIP会员
相关主题
图神经网络预训练
测试样本
ICLR2020
预训练
图神经网络
ICLR
最新内容
综述 | 自我改进的测试时智能：反馈驱动的推理时适应、学习与扩展
综述 | 自我改进的测试时智能：反馈驱动的推理时适应、学习与扩展
专知会员服务
3+阅读 · 9月5日
综述 | 统一机器人学习：连接表征、视觉-语言-动作模型与世界模型
综述 | 统一机器人学习：连接表征、视觉-语言-动作模型与世界模型
专知会员服务
1+阅读 · 9月5日
分层反无人机系统发展新趋势
分层反无人机系统发展新趋势
专知会员服务
7+阅读 · 9月3日
《使用基于模型的系统工程建模战斗机机动案例研究》
《使用基于模型的系统工程建模战斗机机动案例研究》
专知会员服务
10+阅读 · 9月3日
《集成增强现实与实时位置数据及仿真的辅助实时决策》
《集成增强现实与实时位置数据及仿真的辅助实时决策》
专知会员服务
7+阅读 · 9月3日
从可靠性到适配：人工智能赋能任务式指挥中的信任、适应与分布式认知
从可靠性到适配：人工智能赋能任务式指挥中的信任、适应与分布式认知
专知会员服务
12+阅读 · 9月2日
《利用大型语言模型自动生成SysML v2制导、导航和控制系统》170页
《利用大型语言模型自动生成SysML v2制导、导航和控制系统》170页
专知会员服务
15+阅读 · 9月2日
何为协作武器？
何为协作武器？
专知会员服务
10+阅读 · 9月1日
《战斗无人机蜂群设计：多智能体自主系统中的扩展与权衡》
《战斗无人机蜂群设计：多智能体自主系统中的扩展与权衡》
专知会员服务
13+阅读 · 9月1日
《理解认知战：超越信息》
《理解认知战：超越信息》
专知会员服务
13+阅读 · 9月1日
美国战争部在GenAI.mil上推出OpenAI的ChatGPT Mil
美国战争部在GenAI.mil上推出OpenAI的ChatGPT Mil
专知会员服务
8+阅读 · 8月31日
人工智能赋能军事维护：重新定义国防战备
人工智能赋能军事维护：重新定义国防战备
专知会员服务
5+阅读 · 8月31日
综述 | 低资源语言中的大模型安全对齐：方法、风险与评测体系
综述 | 低资源语言中的大模型安全对齐：方法、风险与评测体系
专知会员服务
8+阅读 · 8月31日
博士论文 | 因果NLP基础：面向语言数据与语言模型的因果推断框架
博士论文 | 因果NLP基础：面向语言数据与语言模型的因果推断框架
专知会员服务
11+阅读 · 8月31日
《美陆军野战手册（2026年）：特种部队》
《美陆军野战手册（2026年）：特种部队》
专知会员服务
9+阅读 · 8月31日
相关VIP内容
【KDD2020】图神经网络生成式预训练，GPT-GNN: Generative Pre-Training of Graph Neural Networks
【KDD2020】图神经网络生成式预训练，GPT-GNN: Generative Pre-Training of Graph Neural Networks
专知会员服务
99+阅读 · 2020年7月3日
【NeurIPS2020提交论文】建立具有消息传递的等变图神经网络
【NeurIPS2020提交论文】建立具有消息传递的等变图神经网络
专知会员服务
50+阅读 · 2020年6月29日
【KDD2020-清华大学】图对比编码的图神经网络预训练
【KDD2020-清华大学】图对比编码的图神经网络预训练
专知会员服务
46+阅读 · 2020年6月18日
近期必读的五篇数据挖掘顶会KDD 2020【图神经网络 (GNN) 】相关论文
近期必读的五篇数据挖掘顶会KDD 2020【图神经网络 (GNN) 】相关论文
专知会员服务
93+阅读 · 2020年5月26日
【KDD2020-MSU】图结构学习的鲁棒图神经网络，克服对抗攻击提升GNN防御能力
【KDD2020-MSU】图结构学习的鲁棒图神经网络，克服对抗攻击提升GNN防御能力
专知会员服务
44+阅读 · 2020年5月21日
【斯坦福大学-ICLR2020】图神经网络预训练的策略，Strategies for Pre-training Graph Neural Networks
【斯坦福大学-ICLR2020】图神经网络预训练的策略，Strategies for Pre-training Graph Neural Networks
专知会员服务
78+阅读 · 2020年3月1日
近期必读的12篇KDD 2019【图神经网络（GNN）】相关论文
近期必读的12篇KDD 2019【图神经网络（GNN）】相关论文
专知会员服务
63+阅读 · 2020年1月10日
八篇NeurIPS 2019【图神经网络（GNN）】相关论文
八篇NeurIPS 2019【图神经网络（GNN）】相关论文
专知会员服务
44+阅读 · 2020年1月10日
【图神经网络综述】图神经网络的方法和应用，清华大学周杰
【图神经网络综述】图神经网络的方法和应用，清华大学周杰
专知会员服务
474+阅读 · 2019年12月15日
【ICLR2020】五篇Open代码的GNN论文
【ICLR2020】五篇Open代码的GNN论文
专知会员服务
48+阅读 · 2019年10月2日
热门VIP内容
相关资讯
【CVPR2020-清华大学】渐进对抗网络的细粒度域适应，Progressive Adversarial Networks
【CVPR2020-清华大学】渐进对抗网络的细粒度域适应，Progressive Adversarial Networks
专知
31+阅读 · 2020年4月4日
图卷积神经网络蒸馏知识，Distillating Knowledge from GCN
图卷积神经网络蒸馏知识，Distillating Knowledge from GCN
专知
41+阅读 · 2020年3月25日
【MIT-伯克利-ICLR2020】对比表示蒸馏，Contrastive Representation Distillation
【MIT-伯克利-ICLR2020】对比表示蒸馏，Contrastive Representation Distillation
专知
54+阅读 · 2020年3月12日
【WWW2020论文-香港中文大学】MAGNN:异构图嵌入的集合图神经网络
【WWW2020论文-香港中文大学】MAGNN:异构图嵌入的集合图神经网络
专知
33+阅读 · 2020年2月13日
图神经网络的ImageNet？斯坦福大学等开源百万量级OGB基准测试数据集
图神经网络的ImageNet？斯坦福大学等开源百万量级OGB基准测试数据集
机器之心
6+阅读 · 2019年12月23日
【资源】NLP领域图神经网络(GNN) 应用相关论文列表
【资源】NLP领域图神经网络(GNN) 应用相关论文列表
专知
39+阅读 · 2019年10月22日
【报告分享】图神经网络在自然语言处理领域的前沿应用
【报告分享】图神经网络在自然语言处理领域的前沿应用
专知
47+阅读 · 2019年10月22日
八篇NeurIPS 2019最新公布的【图神经网络（GNN）】相关论文
八篇NeurIPS 2019最新公布的【图神经网络（GNN）】相关论文
专知
75+阅读 · 2019年9月10日
斯坦福Jure Leskovec：图神经网络表达能力有多强
斯坦福Jure Leskovec：图神经网络表达能力有多强
专知
39+阅读 · 2019年2月18日
清华大学孙茂松课题组:《图神经网络: 方法与应用》综述论文，20页pdf
清华大学孙茂松课题组:《图神经网络: 方法与应用》综述论文，20页pdf
专知
49+阅读 · 2018年12月23日
相关论文
A Collective Learning Framework to Boost GNN Expressiveness
A Collective Learning Framework to Boost GNN Expressiveness
Arxiv
20+阅读 · 2020年3月26日
AdarGCN: Adaptive Aggregation GCN for Few-Shot Learning
AdarGCN: Adaptive Aggregation GCN for Few-Shot Learning
Arxiv
4+阅读 · 2020年3月9日
Optimization for deep learning: theory and algorithms
Optimization for deep learning: theory and algorithms
Arxiv
106+阅读 · 2019年12月19日
Text Classification Algorithms: A Survey
Arxiv
4+阅读 · 2019年4月17日
Learning Graph Embedding with Adversarial Training Methods
Learning Graph Embedding with Adversarial Training Methods
Arxiv
6+阅读 · 2019年1月4日
A Comprehensive Survey on Graph Neural Networks
A Comprehensive Survey on Graph Neural Networks
Arxiv
21+阅读 · 2019年1月3日
Knowledge Graph Completion to Predict Polypharmacy Side Effects
Arxiv
3+阅读 · 2018年10月22日
End-to-End Video Captioning with Multitask Reinforcement Learning
Arxiv
5+阅读 · 2018年3月21日
Enhancing Network Embedding with Auxiliary Information: An Explicit Matrix Factorization Perspective
Arxiv
3+阅读 · 2018年3月5日
KBGAN: Adversarial Learning for Knowledge Graph Embeddings
Arxiv
6+阅读 · 2018年2月20日
大家都在搜
  1. maven
  2. palantir
  3. 语言模型
  4. terraform
  5. 数字工程
  6. 反无
  7. 助贷模式
  8. 6 个打造你自己的 VPN 的开源工具
  9. 生成对抗网络GANs学习路线
  10. 文本挖掘从小白到精通
    11.
Top
微信扫码咨询专知VIP会员
Top