We study uniform computability properties of PAC learning using Weihrauch complexity. We focus on closed concept classes, which are either represented by positive, by negative or by full information. Among other results, we prove that proper PAC learning from positive information is equivalent to the limit operation on Baire space, whereas improper PAC learning from positive information is closely related to Weak Kőnig's Lemma and even equivalent to it, when we have some negative information about the admissible hypotheses. If arbitrary hypotheses are allowed, then improper PAC learning from positive information is still in a finitary DNC range, which implies that it is non-deterministically computable, but does not allow for probabilistic algorithms. These results can also be seen as a classification of the degree of constructivity of the Fundamental Theorem of Statistical Learning. All the aforementioned results hold if an upper bound of the VC dimension is provided as an additional input information. We also study the question of how these results are affected if the VC dimension is not given, but only promised to be finite or if concept classes are represented by negative or full information. Finally, we also classify the complexity of the VC dimension operation itself, which is a problem that is of independent interest. For positive or full information it turns out to be equivalent to the binary sorting problem, for negative information it is equivalent to the jump of sorting. This classification allows also conclusions regarding the Borel complexity of PAC learnability.


翻译:本研究利用Weihrauch复杂度探讨PAC学习的一致可计算性特性。我们重点关注封闭概念类,这些概念类通过正信息、负信息或完整信息进行表征。主要成果包括:证明基于正信息的规范PAC学习等价于贝尔空间上的极限运算,而非规范PAC学习则与弱柯尼格引理密切相关——当存在关于可采纳假设的负信息时,两者甚至完全等价。若允许任意假设存在,则基于正信息的非规范PAC学习仍处于有限对角不可计算范围,这意味着该问题具有非确定性可计算性,但不允许概率算法存在。这些结论亦可视为对统计学习基础定理构造性程度的分类体系。当VC维上界作为附加输入信息提供时,上述所有结论均成立。我们还进一步探究了以下情形对结果的影响:未给定具体VC维值但仅承诺其有限性,以及概念类通过负信息或完整信息进行表征的情况。最后,我们对VC维运算本身的复杂度进行了独立分类研究:对于正信息或完整信息表征,该运算等价于二元排序问题;对于负信息表征则等价于跳跃排序问题。此分类体系亦能推导出PAC可学习性在Borel复杂度层面的相关结论。

0
下载
关闭预览

相关内容

PAC学习理论不关心假设选择算法,他关心的是能否从假设空间H中学习一个好的假设h。此理论不关心怎样在假设空间中寻找好的假设,只关心能不能找得到。现在我们在来看一下什么叫“好假设”?只要满足两个条件(PAC辨识条件)即可
【ICML2024】基于正则化的持续学习的统计理论
专知会员服务
21+阅读 · 2024年6月11日
专知会员服务
88+阅读 · 2021年5月30日
机器学习的可解释性
专知会员服务
179+阅读 · 2020年8月27日
深度学习可解释性研究进展
专知会员服务
103+阅读 · 2020年6月26日
深度学习可解释性研究进展
专知
19+阅读 · 2020年6月26日
强化学习的Unsupervised Meta-Learning
CreateAMind
18+阅读 · 2019年1月7日
半监督深度学习小结:类协同训练和一致性正则化
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
21+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
55+阅读 · 2011年12月31日
VIP会员
相关基金
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
21+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
55+阅读 · 2011年12月31日
Top
微信扫码咨询专知VIP会员