图结构数据的自监督学习最近引起了从无标记图学习可泛化、可迁移移和鲁棒表示的兴趣。其中,图对比学习(GraphCL)以良好的表征学习性能出现。不幸的是,与图像数据不同的是,GraphCL的有效性依赖于特定的数据扩展,由于图数据的多样性,必须根据经验或反复试验的规则手动选择每个数据集。这极大地限制了GraphCL更普遍的适用性。为了填补这一关键空白,本文提出了一个统一的双层优化框架,在对特定图形数据执行GraphCL时自动、自适应、动态地选择数据增强。联合增强优化(JOint Augmentation Optimization, JOAO)的通用框架被实例化为最小最大化优化。JOAO所做的增强的选择通常与从手工调优中观察到的以前的“最佳实践”一致:但现在已经自动化,更加灵活和通用。此外,我们提出了一种新的增强感知投影头机制,在每个训练步骤中,通过选择不同的投影头对应不同的增强来路由输出特征。大量实验表明,JOAO在不同规模和类型的多个图数据集上的性能与最先进的竞争对手(包括GraphCL)相当,有时甚至更好,而无需对增强选择进行任何费力的数据集特定调优。我们在https://github.com/ Shen-Lab/GraphCL_Automated发布了代码。

https://arxiv.org/abs/2106.07594

成为VIP会员查看完整内容
41

相关内容

专知会员服务
19+阅读 · 2021年8月15日
专知会员服务
25+阅读 · 2021年6月15日
专知会员服务
24+阅读 · 2021年6月14日
专知会员服务
25+阅读 · 2021年6月8日
专知会员服务
38+阅读 · 2021年6月3日
专知会员服务
16+阅读 · 2021年5月21日
专知会员服务
82+阅读 · 2021年5月10日
【NeurIPS2020 】 数据扩充的图对比学习
专知会员服务
49+阅读 · 2020年11月9日
专知会员服务
29+阅读 · 2020年10月2日
【NeurIPS2020 】数据扩充的图对比学习
专知
9+阅读 · 2020年11月9日
【NeurIPS2020】无限可能的联合对比学习
专知
3+阅读 · 2020年10月2日
WWW 2020 开源论文 | 异构图Transformer
PaperWeekly
13+阅读 · 2020年4月3日
图注意力网络
科技创新与创业
35+阅读 · 2017年11月22日
Arxiv
0+阅读 · 2021年8月18日
Arxiv
11+阅读 · 2020年12月2日
Arxiv
12+阅读 · 2018年1月28日
VIP会员
最新内容
2025年大语言模型进展报告
专知会员服务
6+阅读 · 4月25日
多智能体协作机制
专知会员服务
5+阅读 · 4月25日
非对称优势:美海军开发低成本反无人机技术
专知会员服务
8+阅读 · 4月25日
《美战争部小企业创新研究(SBIR)计划》
专知会员服务
7+阅读 · 4月25日
《军事模拟:将军事条令与目标融入AI智能体》
专知会员服务
10+阅读 · 4月25日
【NTU博士论文】3D人体动作生成
专知会员服务
8+阅读 · 4月24日
以色列军事技术对美国军力发展的持续性赋能
专知会员服务
8+阅读 · 4月24日
《深度强化学习在兵棋推演中的应用》40页报告
专知会员服务
14+阅读 · 4月24日
《多域作战面临复杂现实》
专知会员服务
10+阅读 · 4月24日
《印度的多域作战:条令与能力发展》报告
专知会员服务
5+阅读 · 4月24日
相关VIP内容
专知会员服务
19+阅读 · 2021年8月15日
专知会员服务
25+阅读 · 2021年6月15日
专知会员服务
24+阅读 · 2021年6月14日
专知会员服务
25+阅读 · 2021年6月8日
专知会员服务
38+阅读 · 2021年6月3日
专知会员服务
16+阅读 · 2021年5月21日
专知会员服务
82+阅读 · 2021年5月10日
【NeurIPS2020 】 数据扩充的图对比学习
专知会员服务
49+阅读 · 2020年11月9日
专知会员服务
29+阅读 · 2020年10月2日
微信扫码咨询专知VIP会员