In sparse linear regression, the SLOPE estimator generalizes LASSO by penalizing different coordinates of the estimate according to their magnitudes. In this paper, we present a precise performance characterization of SLOPE in the asymptotic regime where the number of unknown parameters grows in proportion to the number of observations. Our asymptotic characterization enables us to derive the fundamental limits of SLOPE in both estimation and variable selection settings. We also provide a computational feasible way to optimally design the regularizing sequences such that the fundamental limits are reached. In both settings, we show that the optimal design problem can be formulated as certain infinite-dimensional convex optimization problems, which have efficient and accurate finite-dimensional approximations. Numerical simulations verify all our asymptotic predictions. They demonstrate the superiority of our optimal regularizing sequences over other designs used in the existing literature.


翻译:在细微的线性回归中, SLOPE 估计值将LASSO 概括为 LASSO, 依据其大小对估算的不同坐标进行处罚。 在本文中, 我们展示了无药可依的系统对 SLOPE 的精确性能特征描述, 其中未知参数的数量与观测量成比例增长。 我们的无药可依的特性描述使我们能够在估计和变量选择设置中得出 SLOPE 的基本界限。 我们还提供了一种可行的计算方法, 优化地设计常规化序列, 以便达到基本界限 。 在这两种环境中, 我们显示最佳的设计问题可以被描述为某些具有高效和准确的有限维度近光的无限维优化问题。 数字模拟可以验证我们所有的无药性预测。 它们显示了我们优化的常规化序列优于现有文献中使用的其他设计 。

0
下载
关闭预览

相关内容

专知会员服务
52+阅读 · 2020年12月14日
Fariz Darari简明《博弈论Game Theory》介绍,35页ppt
专知会员服务
112+阅读 · 2020年5月15日
已删除
将门创投
5+阅读 · 2019年6月28日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
Arxiv
0+阅读 · 2021年7月29日
Arxiv
0+阅读 · 2021年7月28日
Arxiv
0+阅读 · 2021年7月27日
Arxiv
0+阅读 · 2021年7月23日
Arxiv
5+阅读 · 2017年12月14日
VIP会员
最新内容
【伯克利博士论文】基于动作分块策略的强化学习
Transformer增强强化学习:通信网络基础与应用综述
ICML 2026 | SARDI:扩散语言模型的自增强检索
专知会员服务
5+阅读 · 6月6日
《国防领域安全采用大语言模型的战略蓝图》
专知会员服务
9+阅读 · 6月6日
ICML 2026 | 演化选择的因果建模
专知会员服务
9+阅读 · 6月5日
综述|学习式3D表征最新进展与趋势
专知会员服务
7+阅读 · 6月5日
人工智能重塑威慑:算法优势的兴起
专知会员服务
9+阅读 · 6月5日
Top
微信扫码咨询专知VIP会员