It has become cognitive inertia to employ cross-entropy loss function in classification related tasks. In the untargeted attacks on graph structure, the gradients derived from the attack objective are the attacker's basis for evaluating a perturbation scheme. Previous methods use negative cross-entropy loss as the attack objective in attacking node-level classification models. However, the suitability of the cross-entropy function for constructing the untargeted attack objective has yet been discussed in previous works. This paper argues about the previous unreasonable attack objective from the perspective of budget allocation. We demonstrate theoretically and empirically that negative cross-entropy tends to produce more significant gradients from nodes with lower confidence in the labeled classes, even if the predicted classes of these nodes have been misled. To free up these inefficient attack budgets, we propose a simple attack model for untargeted attacks on graph structure based on a novel attack objective which generates unweighted gradients on graph structures that are not affected by the node confidence. By conducting experiments in gray-box poisoning attack scenarios, we demonstrate that a reasonable budget allocation can significantly improve the effectiveness of gradient-based edge perturbations without any extra hyper-parameter.


翻译:在分类相关任务中使用交叉熵损失函数已成为一种认知惯性。在针对图结构的无目标攻击中,攻击目标函数产生的梯度是攻击者评估扰动方案的依据。以往方法在攻击节点级分类模型时,常采用负交叉熵损失作为攻击目标。然而,交叉熵函数是否适合构建无目标攻击目标这一关键问题在先前研究中尚未得到探讨。本文从预算分配的角度论证了以往攻击目标的不合理性。我们从理论和实验两个层面证明:负交叉熵更倾向于从标注类别置信度较低的节点产生显著梯度,即使这些节点的预测类别已被误导。为释放这些低效攻击预算,我们提出一种基于新型攻击目标的简单攻击模型,该目标函数能生成不受节点置信度影响的非加权图结构梯度。通过在灰盒投毒攻击场景下开展实验,我们证明:合理的预算分配无需额外超参数即可显著提升基于梯度的边扰动攻击效果。

0
下载
关闭预览

相关内容

图神经网络黑盒攻击近期进展
专知会员服务
19+阅读 · 2022年10月14日
ATMOL:利用对比学习预训练模型预测分子性质
专知会员服务
12+阅读 · 2022年8月14日
【AAAI2022】学会学习可迁移攻击
专知会员服务
16+阅读 · 2021年12月15日
深度学习高温蒸馏:Softmax With Temperature
PaperWeekly
2+阅读 · 2022年11月23日
GNN 新基准!Long Range Graph Benchmark
图与推荐
0+阅读 · 2022年10月18日
浅聊对比学习(Contrastive Learning)第一弹
PaperWeekly
1+阅读 · 2022年6月10日
ICLR2019 图上的对抗攻击
图与推荐
17+阅读 · 2020年3月15日
强化学习三篇论文 避免遗忘等
CreateAMind
20+阅读 · 2019年5月24日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Arxiv
67+阅读 · 2022年4月13日
Arxiv
17+阅读 · 2022年2月23日
Arxiv
15+阅读 · 2021年8月5日
Arxiv
12+阅读 · 2020年12月10日
Arxiv
38+阅读 · 2020年3月10日
Arxiv
13+阅读 · 2019年11月14日
VIP会员
最新内容
无人机已改变战场,但并未解决指挥问题
专知会员服务
5+阅读 · 8月14日
驱动军事决策变革的顶尖人工智能指挥系统
专知会员服务
11+阅读 · 8月11日
非对称防御中的自组织临界性:俄乌战争
专知会员服务
10+阅读 · 8月10日
《战争中的大语言模型监管》
专知会员服务
16+阅读 · 8月10日
相关资讯
深度学习高温蒸馏:Softmax With Temperature
PaperWeekly
2+阅读 · 2022年11月23日
GNN 新基准!Long Range Graph Benchmark
图与推荐
0+阅读 · 2022年10月18日
浅聊对比学习(Contrastive Learning)第一弹
PaperWeekly
1+阅读 · 2022年6月10日
ICLR2019 图上的对抗攻击
图与推荐
17+阅读 · 2020年3月15日
强化学习三篇论文 避免遗忘等
CreateAMind
20+阅读 · 2019年5月24日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
相关论文
Arxiv
67+阅读 · 2022年4月13日
Arxiv
17+阅读 · 2022年2月23日
Arxiv
15+阅读 · 2021年8月5日
Arxiv
12+阅读 · 2020年12月10日
Arxiv
38+阅读 · 2020年3月10日
Arxiv
13+阅读 · 2019年11月14日
相关基金
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员