We study the high-dimensional asymptotics of empirical risk minimization (ERM) in over-parametrized two-layer neural networks with quadratic activations trained on synthetic data. We derive sharp asymptotics for both training and test errors by mapping the $\ell_2$-regularized learning problem to a convex matrix sensing task with nuclear norm penalization. This reveals that capacity control in such networks emerges from a low-rank structure in the learned feature maps. Our results characterize the global minima of the loss and yield precise generalization thresholds, showing how the width of the target function governs learnability. This analysis bridges and extends ideas from spin-glass methods, matrix factorization, and convex optimization and emphasizes the deep link between low-rank matrix sensing and learning in quadratic neural networks.


翻译:本研究探讨了在合成数据上训练的、具有二次激活函数的过参数化两层神经网络中经验风险最小化(ERM)的高维渐近性质。通过将 $\ell_2$ 正则化学习问题映射为带有核范数惩罚的凸矩阵感知任务,我们推导出了训练误差与测试误差的锐渐近表达式。这揭示了在此类网络中,容量控制源于所学特征映射的低秩结构。我们的结果刻画了损失函数的全局最小值,并给出了精确的泛化阈值,说明了目标函数的宽度如何支配可学习性。该分析融合并拓展了自旋玻璃方法、矩阵分解和凸优化的思想,并强调了低秩矩阵感知与二次神经网络学习之间的深刻联系。

0
下载
关闭预览

相关内容

图机器学习的核心原理:表征、鲁棒性与泛化性
神经网络的拓扑结构,TOPOLOGY OF DEEP NEURAL NETWORKS
专知会员服务
35+阅读 · 2020年4月15日
基于模型的强化学习综述
专知
42+阅读 · 2022年7月13日
基于注意力机制的图卷积网络
科技创新与创业
74+阅读 · 2017年11月8日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关VIP内容
图机器学习的核心原理:表征、鲁棒性与泛化性
神经网络的拓扑结构,TOPOLOGY OF DEEP NEURAL NETWORKS
专知会员服务
35+阅读 · 2020年4月15日
相关基金
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员