Recent remarkable advances in learning theory have established that, for total concept classes, list replicability, global stability, differentially private (DP) learnability, and shared-randomness replicability all coincide with the finiteness of Littlestone dimension. Does this equivalence extend to partial concept classes? We answer this question by proving that the list replicability number of $d$-dimensional $\gamma$-margin half-spaces satisfies \[ \frac{d}{2}+1 \le \mathrm{LR}(H^d_\gamma) \le d, \] which grows with dimension. Consequently, for partial classes, list replicability and global stability do not necessarily follow from bounded Littlestone dimension, pure DP-learnability, or shared-randomness replicability. Applying our main theorem, we resolve several open problems: $\bullet$ Every disambiguation of infinite-dimensional large-margin half-spaces to a total concept class has unbounded Littlestone dimension, answering an open question of Alon, Hanneke, Holzman, and Moran (FOCS '21). $\bullet$ The maximum list-replicability number of any finite set of points and homogeneous half-spaces in $d$-dimensional Euclidean space is $d$, resolving a problem of Chase, Moran, and Yehudayoff (FOCS '23). $\bullet$ Every disambiguation of the Gap Hamming Distance problem in the large gap regime has unbounded public-coin randomized communication complexity. This answers an open question of Fang, G\"o\"os, Harms, and Hatami (STOC '25). Our lower bound follows from a topological argument based on the local Borsuk-Ulam theorem of Chase, Chornomaz, Moran, and Yehudayoff (STOC '24). For the upper bound, we construct a list-replicable learning rule using the generalization properties of SVMs.


翻译:近期学习理论的显著进展已证实,对于全概念类,列表可复制性、全局稳定性、差分隐私(DP)可学习性以及共享随机性可复制性均与 Littlestone 维数的有限性等价。这一等价关系是否可推广至部分概念类?我们通过证明 $d$ 维 $\gamma$ 间隔半空间的列表可复制数满足 \[ \frac{d}{2}+1 \le \mathrm{LR}(H^d_\gamma) \le d, \] 来回答此问题,该数随维度增长。因此,对于部分概念类,列表可复制性与全局稳定性并不必然从有界的 Littlestone 维数、纯 DP 可学习性或共享随机性可复制性中得出。应用我们的主要定理,我们解决了若干开放问题:$\bullet$ 将无限维大间隔半空间消歧义至任一全概念类均具有无界的 Littlestone 维数,这回答了 Alon、Hanneke、Holzman 和 Moran(FOCS '21)提出的一个开放问题。$\bullet$ $d$ 维欧几里得空间中任意有限点集与齐次半空间的最大列表可复制数为 $d$,这解决了 Chase、Moran 和 Yehudayoff(FOCS '23)提出的一个问题。$\bullet$ 在大间隔机制下,Gap Hamming 距离问题的任一消歧义均具有无界的公共硬币随机通信复杂度。这回答了 Fang、Göös、Harms 和 Hatami(STOC '25)提出的一个开放问题。我们的下界证明基于 Chase、Chornomaz、Moran 和 Yehudayoff(STOC '24)的局部 Borsuk-Ulam 定理的拓扑论证。对于上界,我们利用支持向量机(SVM)的泛化性质构建了一个列表可复制的学习规则。

0
下载
关闭预览

相关内容

FlowQA: Grasping Flow in History for Conversational Machine Comprehension
专知会员服务
34+阅读 · 2019年10月18日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
163+阅读 · 2019年10月12日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
41+阅读 · 2019年10月9日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
STRCF for Visual Object Tracking
统计学习与视觉计算组
15+阅读 · 2018年5月29日
Focal Loss for Dense Object Detection
统计学习与视觉计算组
12+阅读 · 2018年3月15日
IJCAI | Cascade Dynamics Modeling with Attention-based RNN
KingsGarden
13+阅读 · 2017年7月16日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
VIP会员
相关资讯
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
STRCF for Visual Object Tracking
统计学习与视觉计算组
15+阅读 · 2018年5月29日
Focal Loss for Dense Object Detection
统计学习与视觉计算组
12+阅读 · 2018年3月15日
IJCAI | Cascade Dynamics Modeling with Attention-based RNN
KingsGarden
13+阅读 · 2017年7月16日
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员