Recent research has revealed that Graph Neural Networks (GNNs) are susceptible to adversarial attacks targeting the graph structure. A malicious attacker can manipulate a limited number of edges, given the training labels, to impair the victim model's performance. Previous empirical studies indicate that gradient-based attackers tend to add edges rather than remove them. In this paper, we present a theoretical demonstration revealing that attackers tend to increase inter-class edges due to the message passing mechanism of GNNs, which explains some previous empirical observations. By connecting dissimilar nodes, attackers can more effectively corrupt node features, making such attacks more advantageous. However, we demonstrate that the inherent smoothness of GNN's message passing tends to blur node dissimilarity in the feature space, leading to the loss of crucial information during the forward process. To address this issue, we propose a novel surrogate model with multi-level propagation that preserves the node dissimilarity information. This model parallelizes the propagation of unaggregated raw features and multi-hop aggregated features, while introducing batch normalization to enhance the dissimilarity in node representations and counteract the smoothness resulting from topological aggregation. Our experiments show significant improvement with our approach.Furthermore, both theoretical and experimental evidence suggest that adding inter-class edges constitutes an easily observable attack pattern. We propose an innovative attack loss that balances attack effectiveness and imperceptibility, sacrificing some attack effectiveness to attain greater imperceptibility. We also provide experiments to validate the compromise performance achieved through this attack loss.


翻译:近期研究表明,图神经网络(GNN)易受到针对图结构的对抗性攻击。恶意攻击者可在获取训练标签后,通过操控有限数量的边来降低目标模型的性能。先前实证研究指出,基于梯度的攻击者倾向于增加边而非删除边。本文通过理论论证揭示了由于GNN的消息传递机制,攻击者倾向于增加类间边,这解释了部分以往实证观测现象。通过连接不同类别的节点,攻击者能更有效破坏节点特征,使此类攻击更具优势。然而,我们证明GNN消息传递的固有平滑性会模糊特征空间中的节点差异性,导致前向传播过程中关键信息的丢失。为解决此问题,我们提出一种具有多层次传播的新型替代模型,该模型可保留节点差异性信息。该模型并行传播未聚合的原始特征与多跳聚合特征,同时引入批归一化以增强节点表征的差异性,抵消拓扑聚合导致的平滑效应。实验结果验证了该方法带来的显著性能提升。此外,理论与实验证据均表明,增加类间边构成一种易于被观测的攻击模式。我们提出一种创新性的攻击损失函数,可在攻击有效性与隐蔽性之间取得平衡,通过牺牲部分攻击有效性来获得更高的隐蔽性。实验同样验证了该损失函数在折中性能上的有效性。

0
下载
关闭预览

相关内容

Graph Transformer近期进展
专知会员服务
65+阅读 · 2023年1月5日
图神经网络黑盒攻击近期进展
专知会员服务
19+阅读 · 2022年10月14日
专知会员服务
57+阅读 · 2021年1月26日
【Google】平滑对抗训练,Smooth Adversarial Training
专知会员服务
49+阅读 · 2020年7月4日
AAAI 2022 | 对抗攻击鲁棒的异质图神经网络
PaperWeekly
1+阅读 · 2022年8月16日
浅聊对比学习(Contrastive Learning)
极市平台
3+阅读 · 2022年7月26日
ICLR2019 图上的对抗攻击
图与推荐
17+阅读 · 2020年3月15日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
深度自进化聚类:Deep Self-Evolution Clustering
我爱读PAMI
15+阅读 · 2019年4月13日
强化学习的Unsupervised Meta-Learning
CreateAMind
18+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
Arxiv
0+阅读 · 2023年5月18日
Arxiv
0+阅读 · 2023年5月17日
Arxiv
19+阅读 · 2021年2月4日
Arxiv
13+阅读 · 2019年11月14日
VIP会员
最新内容
BES:让语言模型通过双向进化搜索自我改进
专知会员服务
0+阅读 · 今天16:48
以色列-美国-伊朗战争中的无人机:关键要点
专知会员服务
3+阅读 · 今天14:04
《Palantir任务保障性软件安全标准(MA-S2)》
专知会员服务
7+阅读 · 今天13:49
基于声学的无人机检测技术综述
专知会员服务
5+阅读 · 今天13:37
《当代混合战争分析框架:俄乌战争经验教训》
专知会员服务
5+阅读 · 今天13:11
战略前沿人工智能的再思考(中文)
专知会员服务
7+阅读 · 5月29日
《量化地基防空系统间接效应的博弈论方法》
专知会员服务
5+阅读 · 5月29日
相关资讯
AAAI 2022 | 对抗攻击鲁棒的异质图神经网络
PaperWeekly
1+阅读 · 2022年8月16日
浅聊对比学习(Contrastive Learning)
极市平台
3+阅读 · 2022年7月26日
ICLR2019 图上的对抗攻击
图与推荐
17+阅读 · 2020年3月15日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
深度自进化聚类:Deep Self-Evolution Clustering
我爱读PAMI
15+阅读 · 2019年4月13日
强化学习的Unsupervised Meta-Learning
CreateAMind
18+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
相关基金
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员