近年来,监督学习设置的几个结果表明,经典的统计学习理论度量,如VC维,不能充分解释深度学习模型的性能,这促使大量工作在无限宽和迭代机制。然而,对于神经网络在监督设置之外的成功,几乎没有理论解释。本文认为,在一些分布假设下,经典学习理论测度可以充分解释图神经网络在转导环境下的泛化问题。特别是,我们提供了一个严格的分析神经网络在转导推理的背景下的性能,特别是通过分析图卷积网络的泛化性质的节点分类问题。虽然VC维在这种情况下也会导致微不足道的泛化误差边界,但我们表明,转换的Rademacher复杂性可以解释随机块模型的图卷积网络的泛化特性。我们进一步使用基于转导Rademacher复杂性的泛化误差边界来演示图卷积和网络架构在实现更小的泛化误差方面的作用,并提供关于何时图结构可以帮助学习的见解。这篇论文的发现可以重新激发人们在学习理论测量方面研究神经网络泛化的兴趣,尽管是在具体的问题上。

https://www.zhuanzhi.ai/paper/8dbc5b521467d7c686543811a6d386eb

成为VIP会员查看完整内容
30

相关内容

专知会员服务
24+阅读 · 2021年10月6日
专知会员服务
37+阅读 · 2021年7月17日
【ICLR2021】对未标记数据进行深度网络自训练的理论分析
专知会员服务
20+阅读 · 2020年12月9日
【MIT-ICML2020】图神经网络的泛化与表示的局限
专知会员服务
43+阅读 · 2020年6月23日
ICML2020 图神经网络的预训练
图与推荐
12+阅读 · 2020年4月4日
图神经网络火了?谈下它的普适性与局限性
机器之心
22+阅读 · 2019年7月29日
Arxiv
9+阅读 · 2021年4月8日
Pointer Graph Networks
Arxiv
7+阅读 · 2020年6月11日
Arxiv
18+阅读 · 2019年1月16日
Arxiv
11+阅读 · 2018年3月23日
VIP会员
最新内容
2025年大语言模型进展报告
专知会员服务
10+阅读 · 4月25日
多智能体协作机制
专知会员服务
10+阅读 · 4月25日
非对称优势:美海军开发低成本反无人机技术
专知会员服务
9+阅读 · 4月25日
《美战争部小企业创新研究(SBIR)计划》
专知会员服务
8+阅读 · 4月25日
《军事模拟:将军事条令与目标融入AI智能体》
专知会员服务
12+阅读 · 4月25日
【NTU博士论文】3D人体动作生成
专知会员服务
9+阅读 · 4月24日
以色列军事技术对美国军力发展的持续性赋能
专知会员服务
9+阅读 · 4月24日
《深度强化学习在兵棋推演中的应用》40页报告
专知会员服务
16+阅读 · 4月24日
《多域作战面临复杂现实》
专知会员服务
13+阅读 · 4月24日
《印度的多域作战:条令与能力发展》报告
专知会员服务
6+阅读 · 4月24日
微信扫码咨询专知VIP会员