大量理论和经验证据表明,较平坦的局部最小值倾向于提高泛化能力。对抗权重扰动(Adversarial Weight Perturbation,AWP)是一种快速有效地寻找这种最小值的新兴技术。在AWP中,我们最小化损失w.r.t。模型参数的有界最坏情况扰动,从而有利于在其周围邻域内具有小损失的局部最小值。AWP的好处,以及平坦度和泛化之间的联系,已经被广泛研究了i.i.d.数据,如图像。本文针对图数据广泛研究了这一现象。在此过程中,我们首先推导出非i.i.d的泛化界。节点分类任务。用所有现有的AWP公式确定一个消失梯度问题,并提出一种新的加权截断AWP (WTAWP)来缓解这个问题。用WT-AWP正则化图神经网络,持续提高了许多不同图学习任务和模型的自然和鲁棒泛化能力。

成为VIP会员查看完整内容
19

相关内容

【AAAI2023】图序注意力网络
专知会员服务
46+阅读 · 2022年11月24日
【KDD2022】基于对抗性知识蒸馏的深度图神经网络压缩
专知会员服务
24+阅读 · 2022年6月10日
【AAAI2022】基于图神经网络的统一离群点异常检测方法
专知会员服务
28+阅读 · 2022年2月12日
【AAAI2022】跨域少样本图分类
专知会员服务
30+阅读 · 2022年1月22日
【AAAI2022】基于变分信息瓶颈的图结构学习
专知会员服务
20+阅读 · 2021年12月18日
专知会员服务
108+阅读 · 2020年12月21日
【AAAI2021】 层次图胶囊网络
专知会员服务
84+阅读 · 2020年12月18日
专知会员服务
20+阅读 · 2020年12月9日
专知会员服务
46+阅读 · 2020年10月22日
【AAAI2022】跨域少样本图分类
专知
1+阅读 · 2022年1月22日
【WWW2022】互信息压缩的紧凑图结构学习
专知
2+阅读 · 2022年1月17日
ICML2020 图神经网络的预训练
图与推荐
12+阅读 · 2020年4月4日
ICLR2019 图上的对抗攻击
图与推荐
17+阅读 · 2020年3月15日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Arxiv
0+阅读 · 2023年2月8日
Arxiv
10+阅读 · 2020年11月26日
Arxiv
19+阅读 · 2020年7月13日
Arxiv
16+阅读 · 2019年4月4日
Arxiv
12+阅读 · 2018年1月12日
VIP会员
最新内容
《深度强化学习在兵棋推演中的应用》40页报告
专知会员服务
4+阅读 · 今天5:37
《多域作战面临复杂现实》
专知会员服务
3+阅读 · 今天5:35
《印度的多域作战:条令与能力发展》报告
专知会员服务
2+阅读 · 今天5:24
人工智能赋能无人机:俄乌战争(万字长文)
专知会员服务
6+阅读 · 4月23日
国外海军作战管理系统与作战训练系统
专知会员服务
3+阅读 · 4月23日
美军条令《海军陆战队规划流程(2026版)》
专知会员服务
11+阅读 · 4月23日
《压缩式分布式交互仿真标准》120页
专知会员服务
4+阅读 · 4月23日
《电子战数据交换模型研究报告》
专知会员服务
6+阅读 · 4月23日
相关VIP内容
【AAAI2023】图序注意力网络
专知会员服务
46+阅读 · 2022年11月24日
【KDD2022】基于对抗性知识蒸馏的深度图神经网络压缩
专知会员服务
24+阅读 · 2022年6月10日
【AAAI2022】基于图神经网络的统一离群点异常检测方法
专知会员服务
28+阅读 · 2022年2月12日
【AAAI2022】跨域少样本图分类
专知会员服务
30+阅读 · 2022年1月22日
【AAAI2022】基于变分信息瓶颈的图结构学习
专知会员服务
20+阅读 · 2021年12月18日
专知会员服务
108+阅读 · 2020年12月21日
【AAAI2021】 层次图胶囊网络
专知会员服务
84+阅读 · 2020年12月18日
专知会员服务
20+阅读 · 2020年12月9日
专知会员服务
46+阅读 · 2020年10月22日
相关基金
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
微信扫码咨询专知VIP会员