Given a real-valued weighted function $f$ on a finite dag, the $L_p$ isotonic regression of $f$, $p \in [0,\infty]$, is unique except when $p \in [0,1] \cup \{\infty\}$. We are interested in determining a ``best'' isotonic regression for $p \in \{0, 1, \infty\}$, where by best we mean a regression satisfying stronger properties than merely having minimal norm. One approach is to use strict $L_p$ regression, which is the limit of the best $L_q$ approximation as $q$ approaches $p$, and another is lex regression, which is based on lexical ordering of regression errors. For $L_\infty$ the strict and lex regressions are unique and the same. For $L_1$, strict $q \scriptstyle\searrow 1$ is unique, but we show that $q \scriptstyle\nearrow 1$ may not be, and even when it is unique the two limits may not be the same. For $L_0$, in general neither of the strict and lex regressions are unique, nor do they always have the same set of optimal regressions, but by expanding the objectives of $L_p$ optimization to $p < 0$ we show $p{ \scriptstyle \nearrow} 0$ is the same as lex regression. We also give algorithms for computing the best $L_p$ isotonic regression in certain situations.


翻译:给定有限有向无环图上的实值加权函数 $f$,其 $L_p$ 保序回归($p \in [0,\infty]$)在 $p \in [0,1] \cup \{\infty\}$ 时并非唯一。我们感兴趣的是确定 $p \in \{0, 1, \infty\}$ 时的“最优”保序回归,其中“最优”指回归结果不仅满足最小范数,还具有更强的性质。一种方法是采用严格 $L_p$ 回归,即当 $q$ 趋近于 $p$ 时最优 $L_q$ 逼近的极限;另一种是词典回归,基于回归误差的词典序。对于 $L_\infty$,严格回归和词典回归唯一且相同。对于 $L_1$,$q \scriptstyle\searrow 1$ 的严格回归唯一,但我们证明 $q \scriptstyle\nearrow 1$ 可能不唯一,且即使唯一,两个极限也可能不同。对于 $L_0$,严格回归和词典回归通常既不唯一,也不总具有相同的最优回归集合,但通过将 $L_p$ 优化的目标扩展到 $p < 0$,我们证明 $p{ \scriptstyle \nearrow} 0$ 与词典回归等价。我们还给出了在某些情况下计算最优 $L_p$ 保序回归的算法。

0
下载
关闭预览

相关内容

不可错过!《机器学习100讲》课程,UBC Mark Schmidt讲授
专知会员服务
76+阅读 · 2022年6月28日
专知会员服务
162+阅读 · 2020年1月16日
强化学习最新教程,17页pdf
专知会员服务
182+阅读 · 2019年10月11日
机器学习入门的经验与建议
专知会员服务
94+阅读 · 2019年10月10日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
41+阅读 · 2019年10月9日
谷歌足球游戏环境使用介绍
CreateAMind
33+阅读 · 2019年6月27日
强化学习三篇论文 避免遗忘等
CreateAMind
20+阅读 · 2019年5月24日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
深度自进化聚类:Deep Self-Evolution Clustering
我爱读PAMI
15+阅读 · 2019年4月13日
强化学习的Unsupervised Meta-Learning
CreateAMind
18+阅读 · 2019年1月7日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
可解释的CNN
CreateAMind
18+阅读 · 2017年10月5日
【推荐】SVM实例教程
机器学习研究会
17+阅读 · 2017年8月26日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Arxiv
0+阅读 · 2023年7月21日
Arxiv
0+阅读 · 2023年7月20日
Arxiv
0+阅读 · 2023年7月19日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
6+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
7+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
4+阅读 · 6月17日
相关VIP内容
不可错过!《机器学习100讲》课程,UBC Mark Schmidt讲授
专知会员服务
76+阅读 · 2022年6月28日
专知会员服务
162+阅读 · 2020年1月16日
强化学习最新教程,17页pdf
专知会员服务
182+阅读 · 2019年10月11日
机器学习入门的经验与建议
专知会员服务
94+阅读 · 2019年10月10日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
41+阅读 · 2019年10月9日
相关资讯
谷歌足球游戏环境使用介绍
CreateAMind
33+阅读 · 2019年6月27日
强化学习三篇论文 避免遗忘等
CreateAMind
20+阅读 · 2019年5月24日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
深度自进化聚类:Deep Self-Evolution Clustering
我爱读PAMI
15+阅读 · 2019年4月13日
强化学习的Unsupervised Meta-Learning
CreateAMind
18+阅读 · 2019年1月7日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
可解释的CNN
CreateAMind
18+阅读 · 2017年10月5日
【推荐】SVM实例教程
机器学习研究会
17+阅读 · 2017年8月26日
相关基金
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员