Reduced rank regression (RRR) is a fundamental tool for modeling multiple responses through low-dimensional latent structures, offering both interpretability and strong predictive performance in high-dimensional settings. Classical RRR methods, however, typically rely on squared loss and Gaussian noise assumptions, rendering them sensitive to heavy-tailed errors, outliers, and data contamination. Moreover, the presence of missing data--common in modern applications--further complicates reliable low-rank estimation. In this paper, we propose a robust reduced rank regression framework that simultaneously addresses heavy-tailed noise, outliers, and missing data. Our approach combines a robust Huber loss with nonconvex spectral regularization, specifically the minimax concave penalty (MCP) and smoothly clipped absolute deviation (SCAD). Unlike convex nuclear-norm regularization, the proposed nonconvex penalties alleviate excessive shrinkage and enable more accurate recovery of the underlying low-rank structure. The method also accommodates missing data in the response matrix without requiring imputation. We develop an efficient proximal gradient algorithm based on alternating updates and tailored spectral thresholding. Extensive simulation studies demonstrate that the proposed methods substantially outperform nuclear-norm-based and non-robust alternatives under heavy-tailed noise and contamination. An application to cancer cell line data set further illustrates the practical advantages of the proposed robust RRR framework. Our method is implemented in the R package rrpackrobust available at https://github.com/tienmt/rrpackrobust.


翻译:降秩回归(RRR)是通过低维潜在结构建模多重响应的基础工具,在高维环境下兼具可解释性与优异的预测性能。然而,经典RRR方法通常依赖于平方损失与高斯噪声假设,导致其对重尾误差、异常值及数据污染极为敏感。此外,现代应用中普遍存在的缺失数据问题进一步增加了可靠低秩估计的难度。本文提出一种稳健的降秩回归框架,可同时处理重尾噪声、异常值与缺失数据。该方法将稳健的Huber损失与非凸谱正则化(特别是极小极大凹惩罚(MCP)与光滑剪切绝对偏差(SCAD))相结合。与凸核范数正则化不同,所提出的非凸惩罚能缓解过度收缩问题,从而更准确地恢复潜在的低秩结构。该方法还支持响应矩阵存在缺失值的情形,且无需进行插补处理。我们基于交替更新与定制化谱阈值技术,开发了一种高效的近端梯度算法。大量模拟研究表明,在重尾噪声与污染条件下,所提方法显著优于基于核范数的正则化方法及非稳健替代方案。在癌细胞系数据集上的应用进一步验证了所提稳健RRR框架的实践优势。本方法已实现于R软件包rrpackrobust中,可通过https://github.com/tienmt/rrpackrobust获取。

0
下载
关闭预览

相关内容

UnHiPPO:面向不确定性的状态空间模型初始化方法
专知会员服务
11+阅读 · 2025年6月6日
【AAAI 2022】跨模态目标跟踪: 模态感知表示和统一基准
专知会员服务
44+阅读 · 2022年1月6日
【NeurIPS 2020】核基渐进蒸馏加法器神经网络
专知
13+阅读 · 2020年10月19日
再谈人脸识别损失函数综述
人工智能前沿讲习班
14+阅读 · 2019年5月7日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
VIP会员
相关VIP内容
相关资讯
【NeurIPS 2020】核基渐进蒸馏加法器神经网络
专知
13+阅读 · 2020年10月19日
再谈人脸识别损失函数综述
人工智能前沿讲习班
14+阅读 · 2019年5月7日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员