We study the optimal scale at which real-valued function classes exhibit uniform convergence and learnability. Our main result establishes a scale-sensitive generalization of the fundamental theorem of PAC learning: for every bounded real-valued class and every $γ>0$, uniform convergence at scale $γ$, agnostic learnability at scale $γ/2$, and finiteness of the fat-shattering dimension at every scale $γ'>γ$ are equivalent. This resolves a question by Anthony and Bartlett (Cambridge Univ. Press 1999) on the precise scales governing learnability, refuting a conjecture attributed there to Phil Long that a multiplicative 2-factor gap is unavoidable, and improves the upper bounds of Bartlett and Long (JCSS 1998), which incur such a loss. The key technical ingredient is a direct bound on empirical $\ell_\infty$ covering numbers, avoiding the standard detour through packing numbers. As a consequence, we obtain sharp asymptotic metric-entropy bounds in terms of the fat-shattering scale $γ$: an $O(\log^2 n)$ bound holds already at scale $γ/2$, while an $O(\log n)$ bound holds at scale $2γ$. We further show that the $O(\log^2 n)$ bound is sometimes tight. These results resolve open questions by Alon et al. (JACM 1997) and Rudelson and Vershynin (Ann. of Math. 2006). As an application, we establish a sharp dichotomy for bounded integral probability metrics: every such IPM is either estimable or cannot be weakly evaluated within any multiplicative factor $c<3$, while $3$-weak evaluability always holds, resolving an open question from Aiyer et al. (ICML 2026). We also highlight several open questions on quantitative sample complexity and evaluability.


翻译:我们研究实值函数类在最优尺度上展现一致收敛性与可学习性的问题。主要结果建立了PAC学习基本定理的尺度敏感性推广:对于每个有界实值函数类及任意$\gamma>0$,在尺度$\gamma$上的一致收敛性、在尺度$\gamma/2$上的不可知可学习性,以及在每个尺度$\gamma'>\gamma$上胖粉碎维数的有限性三者等价。这解决了Anthony与Bartlett(剑桥大学出版社,1999)关于控制可学习性精确尺度的疑问,否证了该书归因于Phil Long的猜想(即乘法2倍差距不可避免),并改进了Bartlett与Long(JCSS,1998)中存在的此差距的上界。关键技术成分是经验$\ell_\infty$覆盖数的直接界,避免了通过包装数的标准迂回。作为推论,我们获得了以胖粉碎尺度$\gamma$表示的渐近度量熵界:在尺度$\gamma/2$上即达$O(\log^2 n)$界,而在尺度$2\gamma$上可达$O(\log n)$界。进一步证明$O(\log^2 n)$界有时是紧的。这些结果解决了Alon等人(JACM,1997)以及Rudelson与Vershynin(数学年刊,2006)的开放问题。作为应用,我们建立了有界积分概率度量的尖锐二分法:每个此类IPM要么可估计,要么无法在任何乘法因子$c<3$内被弱评估,而3-弱评估性始终成立,解决了Aiyer等人(ICML,2026)的开放问题。我们还强调了关于定量样本复杂度与可评估性的若干开放问题。

0
下载
关闭预览

相关内容

【ICML2023】在受限逆强化学习中的可识别性和泛化能力
专知会员服务
26+阅读 · 2023年6月5日
【博士论文】开放环境下的度量学习研究
专知会员服务
49+阅读 · 2021年12月4日
【博士论文】辨识性特征学习及在细粒度分析中的应用
专知会员服务
31+阅读 · 2020年12月10日
【康奈尔大学】度量数据粒度,Measuring Dataset Granularity
专知会员服务
13+阅读 · 2019年12月27日
【哈佛大学商学院课程Fall 2019】机器学习可解释性
专知会员服务
106+阅读 · 2019年10月9日
深度学习中Attention Mechanism详细介绍:原理、分类及应用
深度学习与NLP
10+阅读 · 2019年2月18日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
《履带式无人地面战车技术发展现状》
专知会员服务
3+阅读 · 8月2日
《无人机脆弱性利用:网络空间力量的新域》
专知会员服务
3+阅读 · 8月1日
美空军如何将人工智能从战场部署至后方机关
专知会员服务
12+阅读 · 7月31日
《史诗怒火行动:多域前瞻评估》49页报告
专知会员服务
10+阅读 · 7月31日
《英国防部:未来空战系统数字化战略》33页
专知会员服务
6+阅读 · 7月31日
《面向自主飞行网络的智能体人工智能架构》
专知会员服务
9+阅读 · 7月31日
相关VIP内容
相关资讯
深度学习中Attention Mechanism详细介绍:原理、分类及应用
深度学习与NLP
10+阅读 · 2019年2月18日
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员