Recent works explore learning graph representations in a self-supervised manner. In graph contrastive learning, benchmark methods apply various graph augmentation approaches. However, most of the augmentation methods are non-learnable, which causes the issue of generating unbeneficial augmented graphs. Such augmentation may degenerate the representation ability of graph contrastive learning methods. Therefore, we motivate our method to generate augmented graph by a learnable graph augmenter, called MEta Graph Augmentation (MEGA). We then clarify that a "good" graph augmentation must have uniformity at the instance-level and informativeness at the feature-level. To this end, we propose a novel approach to learning a graph augmenter that can generate an augmentation with uniformity and informativeness. The objective of the graph augmenter is to promote our feature extraction network to learn a more discriminative feature representation, which motivates us to propose a meta-learning paradigm. Empirically, the experiments across multiple benchmark datasets demonstrate that MEGA outperforms the state-of-the-art methods in graph self-supervised learning tasks. Further experimental studies prove the effectiveness of different terms of MEGA.


翻译:最近的工作以自我监督的方式探索学习图解的表达方式。 在图形对比学习中, 基准方法应用了各种图形增强方法。 但是, 大部分增强方法都是不可忽略的, 从而导致生成非受益性放大图。 这样的增加可能会削弱图形对比学习方法的表达能力。 因此, 我们激励我们的方法, 通过一个可学习的图形增强器( 称为 MEGA (MEGA) ) 来生成扩展图。 然后我们澄清“ 良好” 图形增强必须在特征层次的试例级别和信息性上具有一致性。 为此, 我们提出一种新的方法, 学习一个图形增强器, 能够以统一和提供信息的方式产生增强。 图形增强器的目标是促进我们的特征提取网络, 学习更具歧视性的特征代表方式, 从而激励我们提出一个可学习的元模型。 从多个基准数据集的实验中可以看出, MEGA在图形自我监督的学习任务中超越了最先进的方法。 进一步的实验研究证明了 MEGA 不同条件的有效性 。

0
下载
关闭预览

相关内容

[综述]深度学习下的场景文本检测与识别
专知会员服务
78+阅读 · 2019年10月10日
【哈佛大学商学院课程Fall 2019】机器学习可解释性
专知会员服务
105+阅读 · 2019年10月9日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
41+阅读 · 2019年10月9日
ACM MM 2022 Call for Papers
CCF多媒体专委会
5+阅读 · 2022年3月29日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Arxiv
23+阅读 · 2022年2月24日
Arxiv
13+阅读 · 2021年10月22日
Arxiv
38+阅读 · 2020年12月2日
Arxiv
17+阅读 · 2018年4月2日
VIP会员
相关资讯
ACM MM 2022 Call for Papers
CCF多媒体专委会
5+阅读 · 2022年3月29日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
相关论文
Arxiv
23+阅读 · 2022年2月24日
Arxiv
13+阅读 · 2021年10月22日
Arxiv
38+阅读 · 2020年12月2日
Arxiv
17+阅读 · 2018年4月2日
相关基金
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员