Unsupervised (or self-supervised) graph representation learning is essential to facilitate various graph data mining tasks when external supervision is unavailable. The challenge is to encode the information about the graph structure and the attributes associated with the nodes and edges into a low dimensional space. Most existing unsupervised methods promote similar representations across nodes that are topologically close. Recently, it was shown that leveraging additional graph-level information, e.g., information that is shared among all nodes, encourages the representations to be mindful of the global properties of the graph, which greatly improves their quality. However, in most graphs, there is significantly more structure that can be captured, e.g., nodes tend to belong to (multiple) clusters that represent structurally similar nodes. Motivated by this observation, we propose a graph representation learning method called Graph InfoClust (GIC), that seeks to additionally capture cluster-level information content. These clusters are computed by a differentiable K-means method and are jointly optimized by maximizing the mutual information between nodes of the same clusters. This optimization leads the node representations to capture richer information and nodal interactions, which improves their quality. Experiments show that GIC outperforms state-of-art methods in various downstream tasks (node classification, link prediction, and node clustering) with a 0.9% to 6.1% gain over the best competing approach, on average.


翻译:无监督(或自我监督)图形代表性学习对于在外部监管不可用时便利各种图形数据挖掘任务至关重要。 挑战在于将图形结构以及与节点和边缘相关属性的信息编码成一个低维空间。 大多数现有的未监督方法促进在表层接近的节点上类似的表达方式。 最近, 显示利用更多的图层一级信息, 例如所有节点共享的信息, 鼓励演示方注意图表的全球特性, 从而大大提高其质量。 然而, 在大多数图表中, 能够捕捉的架构要大得多, 例如, 节点往往属于代表结构相似节点的( 多面) 组群。 受此观察的驱动, 我们提议了一个图形代表学习方法, 即“ 图形Infoclust”(GIC), 以额外的方式获取集级信息内容。 这些组群群通过不同的K- 比例方法进行计算, 并通过最大限度地利用同一节点之间的相互信息进行优化。 然而, 节点往往属于代表结构相似节点的( 多面) 组群组群, 。 这种优化导致( 多端点) 类群点的群点的类群点的群集的群点的群集的群集显示, 更接近性化, 更甚的群集, 更甚的群集, 更甚的群集, 更甚的群块化, 更甚的群集, 更甚的群块化, 更甚的群集, 更甚的群块化, 更甚的群化, 更甚的群化, 更甚的群化, 更甚的群化, 更甚的群化的群化的群化的群化的群化的群化的群化的群化的群化的群化, 更甚的群化, 更甚的群化, 更甚的群化, 更甚的群化, 更甚的群化, 更甚的群化, 更甚的群化, 更甚的群化, 更甚的群化, 更甚的群化, 更甚的群化, 更甚的群化, 更甚的群化, 更甚的群化的群化的群化的群化, 更甚的群化的群化的群化的群化

5
下载
关闭预览

相关内容

《计算机信息》杂志发表高质量的论文,扩大了运筹学和计算的范围,寻求有关理论、方法、实验、系统和应用方面的原创研究论文、新颖的调查和教程论文,以及描述新的和有用的软件工具的论文。官网链接:https://pubsonline.informs.org/journal/ijoc
图节点嵌入(Node Embeddings)概述,9页pdf
专知会员服务
40+阅读 · 2020年8月22日
一份简单《图神经网络》教程,28页ppt
专知会员服务
127+阅读 · 2020年8月2日
100+篇《自监督学习(Self-Supervised Learning)》论文最新合集
专知会员服务
167+阅读 · 2020年3月18日
内涵网络嵌入:Content-rich Network Embedding
我爱读PAMI
4+阅读 · 2019年11月5日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
18+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【论文】图上的表示学习综述
机器学习研究会
15+阅读 · 2017年9月24日
Arxiv
35+阅读 · 2020年1月2日
Heterogeneous Deep Graph Infomax
Arxiv
12+阅读 · 2019年11月19日
Continual Unsupervised Representation Learning
Arxiv
7+阅读 · 2019年10月31日
Domain Representation for Knowledge Graph Embedding
Arxiv
14+阅读 · 2019年9月11日
VIP会员
最新内容
【CMU博士论文】物理世界的视觉感知与深度理解
专知会员服务
0+阅读 · 今天14:36
伊朗战争停火期间美军关键弹药状况分析
专知会员服务
6+阅读 · 今天11:13
电子战革命:塑造战场的十年突破(2015–2025)
专知会员服务
4+阅读 · 今天9:19
人工智能即服务与未来战争(印度视角)
专知会员服务
2+阅读 · 今天7:57
《美国战争部2027财年军事人员预算》
专知会员服务
2+阅读 · 今天7:44
伊朗战争中的电子战
专知会员服务
5+阅读 · 今天7:04
大语言模型平台在国防情报应用中的对比
专知会员服务
8+阅读 · 今天3:12
相关资讯
内涵网络嵌入:Content-rich Network Embedding
我爱读PAMI
4+阅读 · 2019年11月5日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
18+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【论文】图上的表示学习综述
机器学习研究会
15+阅读 · 2017年9月24日
Top
微信扫码咨询专知VIP会员