图神经网络(GNNs)已成为从结构化数据中学习表征的强大工具。尽管 GNN 在各种应用中日益普及并取得了显著成功,但仍面临若干限制其性能的挑战,主要体现在泛化能力、对对抗扰动的鲁棒性,以及表征学习能力的有效性方面。 在本论文中,我通过以下三项核心贡献对这些关键领域进行了深入研究: 1. 开发了基于图位移算子(GSOs)的新型表征学习技术,旨在提升不同上下文及应用场景下的模型性能; 1. 通过图数据增强手段引入了提升泛化性的方法; 1. 利用正交化技术和基于噪声的防御机制,开发了更具鲁棒性的 GNN 以抵御对抗攻击。

通过解决上述挑战,本研究为理解 GNN 的局限性与潜力提供了更具原则性(Principled)的理论依据。

**1. 引言:图与图表征学习

图能够自然地刻画实体间的关系与交互,使其成为众多领域的基础数据结构。形式上,图由一组节点(Nodes)和连接节点的边(Edges)组成。每个节点可关联特征向量,为图结构提供额外的上下文或属性。图结构数据广泛存在于社交网络、生物分子网络、知识图谱及交通网络中。图的普遍性在于其能够捕捉数据中复杂的、高维的关系,而这些关系无法通过传统的欧几里得结构得到有效建模。 为了从图数据中提取有价值的洞察,**图表征学习(Graph Representation Learning)**技术应运而生。这些方法旨在导出低维嵌入(Embeddings),以保留图的结构特征和属性特征。与作用于特征空间的传统机器学习不同,图表征学习利用图的固有拓扑结构来捕捉节点间的依赖关系。

**2. 图神经网络(GNNs)

为了应对图上学习的挑战,研究者开发了图神经网络(GNNs)。GNNs 通过将节点特征与图连通性整合到计算模型中,扩展了传统神经网络。这一转变使得处理图数据的方法比早期基于启发式的方法更加系统化。具体而言,GNNs 通过迭代消息传递机制(Message-passing mechanisms)传播信息,允许节点聚合邻居信息。 消息传递神经网络(MPNNs)是其中一类杰出代表,它分为两个阶段:消息传递阶段(节点与邻居交换信息)和更新阶段(节点根据接收到的消息精炼其嵌入)。

**3. GNN 的挑战

尽管取得了成功,GNN 仍面临若干挑战: * 过平滑(Over-smoothing):重复的消息传递导致节点身份信息的丧失。 * 可扩展性(Scalability):大规模图需要高效的处理技术。 * 鲁棒性、泛化性与表征效能:包括对抗攻击的脆弱性以及在分布外(OOD)数据上的表现。

**4. 核心贡献概述

图表征学习: 本人博士研究的一个重点是调整 GNN 的消息传递方案,使其适应不同图和任务的特性。 * CGSOs:我提出了一类名为**中心性图位移算子(Centrality Graph Shift Operators, CGSOs)**的新算子,将节点的全局位置信息集成到算子中。通过全面的谱分析(Spectral Analysis),我探讨了其特征值结构和扩张行为对信息传播的影响。 * ADMP-GNN:针对标准 GNN 固定传播深度的问题,我开发了 ADMP-GNN 框架,能够根据节点的独特需求动态调整每个节点的投影深度。

GNN 的鲁棒性: 本研究致力于提升 GNN 抵御对抗攻击的能力。 * GCORNs:我通过理论分析建立了 GNN 鲁棒性与权重矩阵**正交性(Orthonormality)**之间的联系,并利用 Bjorck 正交化算法提出了鲁棒变体 GCORNs。 * NoisyGNNs:引入了一种在模型架构中注入噪声的防御方法,并利用 **Renyi 散度(Renyi Divergence)建立了噪声注入与鲁棒性提升之间的理论关联。 * RobustCRF:提出了一种基于条件随机场(CRF)**的后验(Post-hoc)增强方法,旨在推理阶段提升模型的稳健性。

GNN 的泛化性: 为了解决 OOD 泛化难题,我引入了基于高斯混合模型(GMMs)的图数据增强方法 GRATIN。该方法利用 GMM 的万能逼近特性对新的图表征进行采样,从而有效控制**拉德马赫复杂度(Rademacher Complexity)**的上界,确保 GNN 泛化性能的提升。

成为VIP会员查看完整内容
22

相关内容

图机器学习(Machine Learning on Graphs)是一项重要且普遍存在的任务,其应用范围从药物设计到社交网络中的友情推荐。这个领域的主要挑战是找到一种表示或编码图结构的方法,以便机器学习模型能够轻松地利用它。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
【MIT-Stefanie Jegelka】图神经网络理论:表示与学习
专知会员服务
44+阅读 · 2022年5月21日
【Google AI】鲁棒图神经网络,Robust Graph Neural Networks
专知会员服务
38+阅读 · 2022年3月9日
MIT《图神经网络的任务结构与泛化》,22页ppt
专知会员服务
24+阅读 · 2021年2月28日
图神经网络表达能力的研究综述,41页pdf
专知会员服务
173+阅读 · 2020年3月10日
【GNN】深度学习之上,图神经网络(GNN )崛起
产业智能官
16+阅读 · 2019年8月15日
图神经网络火了?谈下它的普适性与局限性
机器之心
22+阅读 · 2019年7月29日
掌握图神经网络GNN基本,看这篇文章就够了
新智元
164+阅读 · 2019年2月14日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
39+阅读 · 2015年12月31日
国家自然科学基金
21+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
16+阅读 · 2013年12月31日
国家自然科学基金
23+阅读 · 2009年12月31日
Arxiv
14+阅读 · 2021年7月20日
Arxiv
17+阅读 · 2019年3月28日
VIP会员
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
39+阅读 · 2015年12月31日
国家自然科学基金
21+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
16+阅读 · 2013年12月31日
国家自然科学基金
23+阅读 · 2009年12月31日
微信扫码咨询专知VIP会员