We analyze the classical method of principal component regression (PCR) in a high-dimensional error-in-variables setting. Here, the observed covariates are not only noisy and contain missing values, but the number of covariates can also exceed the sample size. Under suitable conditions, we establish that PCR identifies the unique linear model parameter with minimum $\ell_2$-norm, and derive non-asymptotic $\ell_2$-rates of convergence that show its consistency. Furthermore, we develop an algorithm for out-of-sample predictions in the presence of corrupted data that uses PCR as a key subroutine, and provide its non-asymptotic prediction performance guarantees. Notably, our results do not require the out-of-samples covariates to follow the same distribution as that of the in-sample covariates, but rather that they obey a simple linear algebraic constraint. We provide simulations that illustrate our theoretical results.


翻译:我们在高维误差变量设置中分析主元元回归的经典方法。 在这里, 观察到的共变器不仅噪音而且含有缺失值, 共变器的数量也可以超过样本大小。 在适当条件下, 我们确定 PCR 以最小 $\ $_ 2 $- norm 来识别独有的线性模型参数, 并得出显示其一致性的非非无线性值 $\ ell_ 2 $- 趋同率。 此外, 我们开发了一种算法, 用于在存在腐败数据的情况下进行超标预测, 该数据使用 PCR 来作为关键的子例, 并提供其非非随机性预测性性绩效保证 。 值得注意的是, 我们的结果并不要求外型共变体的参数遵循与恒定共变体相同的分布, 而是要遵守简单的线性变数限制 。 我们提供模拟来说明我们的理论结果 。

0
下载
关闭预览

相关内容

主成分回归分析principle component regression;PCR,以主成分为自变量进行的回归分析。是分析多元共线性问题的一种方法。用主成分得到的回归关系不像用原自变量建立的回归关系那样容易解释。
专知会员服务
78+阅读 · 2021年3月16日
专知会员服务
52+阅读 · 2020年12月14日
【斯坦福】凸优化圣经- Convex Optimization (附730pdf下载)
专知会员服务
231+阅读 · 2020年6月5日
专知会员服务
162+阅读 · 2020年1月16日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
VIP会员
最新内容
《采用系统思维应对混合战争》125页
专知会员服务
0+阅读 · 36分钟前
战争机器学习:数据生态系统构建(155页)
专知会员服务
6+阅读 · 今天8:10
内省扩散语言模型
专知会员服务
5+阅读 · 4月14日
国外反无人机系统与技术动态
专知会员服务
3+阅读 · 4月14日
大规模作战行动中的战术作战评估(研究论文)
未来的海战无人自主系统
专知会员服务
3+阅读 · 4月14日
美军多域作战现状分析:战略、概念还是幻想?
无人机与反无人机系统(书籍)
专知会员服务
19+阅读 · 4月14日
相关VIP内容
相关资讯
Top
微信扫码咨询专知VIP会员