Offset Rademacher complexities have been shown to imply sharp, data-dependent upper bounds for the square loss in a broad class of problems including improper statistical learning and online learning. We show that in the statistical setting, the offset complexity upper bound can be generalized to any loss satisfying a certain uniform convexity condition. Amazingly, this condition is shown to also capture exponential concavity and self-concordance, uniting several apparently disparate results. By a unified geometric argument, these bounds translate directly to improper learning in a non-convex class using Audibert's "star algorithm." As applications, we recover the optimal rates for proper and improper learning with the $p$-loss, $1 < p < \infty$, closing the gap for $p > 2$, and show that improper variants of empirical risk minimization can attain fast rates for logistic regression and other generalized linear models.


翻译:Rademacher 的复杂情况表明,在包括不适当的统计学习和在线学习在内的一系列广泛问题中,平方损失的高度是尖锐的、数据依赖的。我们表明,在统计环境中,抵消的复杂程度可以普遍化为任何符合某种统一凝固条件的损失。令人惊讶的是,这一条件还显示出指数性混凝土和自相符合,将若干明显不同的结果结合在一起。通过统一的几何论,这些界限直接转化为非凝固类中不适当的学习,使用Audibert的“星级算法 ” 。作为应用,我们用美元损失、1美元 < p < incenty$ > 来恢复适当和不适当的学习的最佳费率,缩小2美元的差额,并表明不适当的实验风险最小化的变种可以达到快速的后勤倒退率和其他通用线性模型。

0
下载
关闭预览

相关内容

零样本文本分类,Zero-Shot Learning for Text Classification
专知会员服务
97+阅读 · 2020年5月31日
专知会员服务
162+阅读 · 2020年1月16日
17种深度强化学习算法用Pytorch实现
新智元
31+阅读 · 2019年9月16日
【NIPS2018】接收论文列表
专知
5+阅读 · 2018年9月10日
语音顶级会议Interspeech2018接受论文列表!
专知
6+阅读 · 2018年6月10日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Sublinear Regret for Learning POMDPs
Arxiv
0+阅读 · 2021年7月8日
Arxiv
4+阅读 · 2021年7月1日
Arxiv
9+阅读 · 2020年10月29日
VIP会员
相关资讯
17种深度强化学习算法用Pytorch实现
新智元
31+阅读 · 2019年9月16日
【NIPS2018】接收论文列表
专知
5+阅读 · 2018年9月10日
语音顶级会议Interspeech2018接受论文列表!
专知
6+阅读 · 2018年6月10日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Top
微信扫码咨询专知VIP会员