The complexity of learning a concept class under Gaussian marginals in the difficult agnostic model is closely related to its $L_1$-approximability by low-degree polynomials. For any concept class with Gaussian surface area at most $Γ$, Klivans et al. (2008) show that degree $d = O(Γ^2 / \varepsilon^4)$ suffices to achieve an $\varepsilon$-approximation. This leads to the best-known bounds on the complexity of learning a variety of concept classes. In this note, we improve their analysis by showing that degree $d = \tilde O (Γ^2 / \varepsilon^2)$ is enough. In light of lower bounds due to Diakonikolas et al. (2021), this yields (near) optimal bounds on the complexity of agnostically learning polynomial threshold functions in the statistical query model. Our proof relies on a direct analogue of a construction of Feldman et al. (2020), who considered $L_1$-approximation on the Boolean hypercube.


翻译:在高斯边缘分布下,于困难的不可知模型中学习概念类的复杂度,与其通过低次多项式的$L_1$可逼近性密切相关。对于任何高斯表面积至多为$Γ$的概念类,Klivans等人(2008)证明了次数$d = O(Γ^2 / \varepsilon^4)$足以实现$\varepsilon$逼近。这为学习多种概念类的复杂度提供了已知的最佳界。在本注记中,我们改进了他们的分析,证明了次数$d = \tilde O (Γ^2 / \varepsilon^2)$即已足够。结合Diakonikolas等人(2021)给出的下界,这为在统计查询模型中不可知学习多项式阈值函数的复杂度提供了(接近)最优的界。我们的证明依赖于Feldman等人(2020)构造的一个直接类比,后者考虑了布尔超立方上的$L_1$逼近。

0
下载
关闭预览

相关内容

【CMU博士论文】高斯表示的可微渲染和优化,198页pdf
专知会员服务
27+阅读 · 2023年10月5日
几何观点下的深度学习
专知会员服务
36+阅读 · 2022年12月13日
专知会员服务
65+阅读 · 2021年4月11日
深度多模态表示学习综述论文,22页pdf
专知
33+阅读 · 2020年6月21日
【论文】深度学习的数学解释
机器学习研究会
10+阅读 · 2017年12月15日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
14+阅读 · 2015年12月31日
国家自然科学基金
17+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
VIP会员
最新内容
综述 | 从问答到任务完成:Agent系统与Harness设计
专知会员服务
1+阅读 · 今天16:54
Agentic RL:框架、实践与长程智能体训练
专知会员服务
1+阅读 · 今天16:52
重新思考无人机时代的生存能力
专知会员服务
5+阅读 · 今天7:44
装甲突击旅:现代战争思考、战斗与组织
专知会员服务
4+阅读 · 今天7:28
在人工智能加速决策环境中拓展OODA循环
专知会员服务
4+阅读 · 今天7:18
军事欺骗:供作战战术指挥官使用的工具
专知会员服务
4+阅读 · 今天7:03
综述 | 世界动作模型:少做梦,多行动
专知会员服务
6+阅读 · 6月23日
美以伊冲突:无人机与人工智能的运用
专知会员服务
10+阅读 · 6月23日
《特种部队在透明战场中的生存力》最新报告
专知会员服务
5+阅读 · 6月23日
相关VIP内容
【CMU博士论文】高斯表示的可微渲染和优化,198页pdf
专知会员服务
27+阅读 · 2023年10月5日
几何观点下的深度学习
专知会员服务
36+阅读 · 2022年12月13日
专知会员服务
65+阅读 · 2021年4月11日
相关基金
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
14+阅读 · 2015年12月31日
国家自然科学基金
17+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员