The compatibility constant plays an important role in evaluating the prediction error of the lasso in high-dimensional settings. However, the computation of the compatibility constant is generally difficult because it is a complicated nonconvex optimization problem. In this study, we present a numerical approach to compute the compatibility constant when the support of true regression coefficients is given. We show that the optimization problem reduces to a quadratic programming (QP) once the signs of the nonzero coefficients are specified. In this case, the compatibility constant can be obtained by solving QPs for all possible sign combinations. We also formulate a mixed-integer QP (MIQP) approach that can be applied when the number of true nonzero coefficients is large. We investigate the finite-sample behavior of the compatibility constant for simulated data under various parameter settings and compare the prediction error with its theoretical upper bound. The behavior of the compatibility constant in finite samples is also investigated through a real data analysis.


翻译:兼容常数在高维设定下评估lasso预测误差中扮演重要角色。然而,兼容常数的计算通常很困难,因为这是一个复杂的非凸优化问题。在本研究中,我们提出了一种数值方法,用于在已知真实回归系数支撑集的情况下计算兼容常数。我们证明,一旦非零系数的符号被指定,优化问题可简化为二次规划(QP)。在这种情况下,可通过求解所有可能符号组合的QP来获得兼容常数。我们还提出了一种混合整数QP(MIQP)方法,适用于真实非零系数数量较大的情形。我们研究了在不同参数设定下模拟数据中兼容常数的有限样本行为,并将其预测误差与理论上限进行了比较。通过实际数据分析,我们进一步探究了兼容常数在有限样本中的表现。

0
下载
关闭预览

相关内容

在数学和计算机科学中,优化问题是从所有可行解中找到最佳解的问题。 根据变量是连续变量还是离散变量,优化问题可以分为两类。 具有离散变量的优化问题称为组合优化问题。 在组合优化问题中,我们正在从有限(或可能可数的无限)集中寻找对象,例如整数,置换或图。 连续变量的问题包括约束问题和多峰问题。
《通信和导航中的优化算法设计》美国空军研究实验室
专知会员服务
41+阅读 · 2022年8月19日
南大《优化方法 (Optimization Methods》课程,推荐!
专知会员服务
80+阅读 · 2022年4月3日
非凸优化与统计学,89页ppt,普林斯顿Yuxin Chen博士
专知会员服务
104+阅读 · 2020年6月28日
【干货书】凸随机优化,320页pdf
专知
12+阅读 · 2022年9月16日
机器学习中的最优化算法总结
人工智能前沿讲习班
22+阅读 · 2019年3月22日
博客 | 机器学习中的数学基础(凸优化)
AI研习社
14+阅读 · 2018年12月16日
异常检测的阈值,你怎么选?给你整理好了...
机器学习算法与Python学习
10+阅读 · 2018年9月19日
数据分析师应该知道的16种回归技术:Lasso回归
数萃大数据
16+阅读 · 2018年8月13日
详解常见的损失函数
七月在线实验室
20+阅读 · 2018年7月12日
干货|掌握机器学习数学基础之优化[1](重点知识)
机器学习研究会
10+阅读 · 2017年11月19日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
7+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
8+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
6+阅读 · 6月17日
相关资讯
【干货书】凸随机优化,320页pdf
专知
12+阅读 · 2022年9月16日
机器学习中的最优化算法总结
人工智能前沿讲习班
22+阅读 · 2019年3月22日
博客 | 机器学习中的数学基础(凸优化)
AI研习社
14+阅读 · 2018年12月16日
异常检测的阈值,你怎么选?给你整理好了...
机器学习算法与Python学习
10+阅读 · 2018年9月19日
数据分析师应该知道的16种回归技术:Lasso回归
数萃大数据
16+阅读 · 2018年8月13日
详解常见的损失函数
七月在线实验室
20+阅读 · 2018年7月12日
干货|掌握机器学习数学基础之优化[1](重点知识)
机器学习研究会
10+阅读 · 2017年11月19日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员