In this study, an exact coordinate descent algorithm is developed for high-dimensional Huber regression regularized with an elastic net penalty. Unlike existing gradient descent or coordinate descent-type methods, this algorithm remains effective even when the Hessian becomes ill-conditioned due to high correlations between covariates drawn from heavy-tailed distributions. For each coordinate, marginal increments arise solely from inlier observations, while the derivatives remain monotonically increasing over a grid constructed from the partial residuals. Building on conventional coordinate descent frameworks, adaptive variable screening rules are proposed to selectively determine which variables to update at each iteration, thereby accelerating convergence. The convergence of the proposed algorithm is formally analyzed, and practical computational strategies are presented to speed up its execution. These enhancements ensure that the algorithm operates rapidly and stably even under challenging scenarios. Extensive simulation studies involving heavy-tailed noise and highly correlated predictors, along with a real-world data application, demonstrate both the practical efficiency of this method and the benefits of the computational enhancements.


翻译:本研究针对弹性网惩罚正则化的高维Huber回归,提出了一种精确坐标下降算法。与现有的梯度下降或坐标下降类方法不同,即使因重尾分布协变量间的高度相关性导致海森矩阵病态时,该算法仍能保持有效性。对于每个坐标,边际增量仅由正常观测值产生,而导数在基于部分残差构建的网格上保持单调递增。基于传统坐标下降框架,本文提出自适应变量筛选规则,以选择性地确定每次迭代中需要更新的变量,从而加速收敛。文中对该算法的收敛性进行了正式分析,并给出了实用的计算策略以提高执行速度。这些改进确保算法即使在具有挑战性的场景下也能快速稳定运行。基于重尾噪声与高度相关预测变量的广泛模拟研究,以及实际数据的应用案例,均证明了该方法在实践中具有良好的效率以及计算改进带来的实际效益。

0
下载
关闭预览

相关内容

坐标下降法(coordinate descent)是一种非梯度优化算法。算法在每次迭代中,在当前点处沿一个坐标方向进行一维搜索以求得一个函数的局部极小值。在整个过程中循环使用不同的坐标方向。对于不可拆分的函数而言,算法可能无法在较小的迭代步数中求得最优解。为了加速收敛,可以采用一个适当的坐标系,例如通过主成分分析获得一个坐标间尽可能不相互关联的新坐标系.
【Nature论文】深度网络中的梯度下降复杂度控制
专知会员服务
41+阅读 · 2020年3月9日
从泰勒展开来看梯度下降算法
深度学习每日摘要
13+阅读 · 2019年4月9日
2018年深度学习优化算法最新综述
计算机视觉战队
10+阅读 · 2018年12月11日
简述多种降维算法
算法与数学之美
11+阅读 · 2018年9月23日
最新|深度离散哈希算法,可用于图像检索!
全球人工智能
14+阅读 · 2017年12月15日
绝对干货 | 随机梯度下降算法综述
菜鸟的机器学习
15+阅读 · 2017年10月30日
精品公开课 | 随机梯度下降算法综述
七月在线实验室
13+阅读 · 2017年7月11日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2014年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
7+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
7+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
6+阅读 · 6月17日
相关VIP内容
【Nature论文】深度网络中的梯度下降复杂度控制
专知会员服务
41+阅读 · 2020年3月9日
相关资讯
从泰勒展开来看梯度下降算法
深度学习每日摘要
13+阅读 · 2019年4月9日
2018年深度学习优化算法最新综述
计算机视觉战队
10+阅读 · 2018年12月11日
简述多种降维算法
算法与数学之美
11+阅读 · 2018年9月23日
最新|深度离散哈希算法,可用于图像检索!
全球人工智能
14+阅读 · 2017年12月15日
绝对干货 | 随机梯度下降算法综述
菜鸟的机器学习
15+阅读 · 2017年10月30日
精品公开课 | 随机梯度下降算法综述
七月在线实验室
13+阅读 · 2017年7月11日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员