We propose a novel method to estimate the coefficients of linear regression when outputs and inputs are contaminated by malicious outliers. Our method consists of two-step: (i) Make appropriate weights $\left\{\hat{w}_i\right\}_{i=1}^n$ such that the weighted sample mean of regression covariates robustly estimates the population mean of the regression covariate, (ii) Process Huber regression using $\left\{\hat{w}_i\right\}_{i=1}^n$. When (a-1) the regression covariate is a sequence with i.i.d. random vectors drawn from sub-Gaussian distribution satisfying $L_4$-$L_2$ norm equivalence with unknown mean and known identity covariance and (a-2) the absolute moment of the random noise is finite, our method attains a convergence rate, which is information theoretically optimal up to constant factor about noise term. When (b-1) the regression covariate is a sequence with i.i.d. random vectors drawn from heavy tailed distribution satisfying $L_4$-$L_2$ norm equivalence with unknown mean and (b-2) the absolute moment of the random noise is finite, our method attains a convergence rate, which is information theoretically optimal up to constant factor.


翻译:当输出和输入受到恶意异常点污染时,我们建议一种新颖的方法来估计线性回归系数。我们的方法由两步组成:(一) 适当加权 $\left ⁇ hat{w ⁇ i\right ⁇ i=1 ⁇ n$,这样回归的加权样本平均值共变强地估计回归共变数的人口平均值,(二) 使用$left ⁇ hat{w ⁇ i\right ⁇ i=1 ⁇ n$的工艺枢纽回归值。当(a-1) 回归共变数是按i.d.d. 随机矢量排序,从亚加西地区分布中抽取的矢量符合$_4$-$L_2$标准等值,且具有未知的平均值和已知的身份共变异性。 (a-2) 随机噪声绝对时,我们的方法达到了一种趋同率,这是理论上最符合恒定因素的信息。当(b-1) 回归共变数是按i.d.d. 随机矢量分布达到$_4$L_2$的矢量矢量矢量,从重尾分配得出的随机矢量矢量矢量矢量矢量量,达到我们最不为最高的恒定的恒定时, 达到恒定的惯态的定点, 。

0
下载
关闭预览

相关内容

专知会员服务
54+阅读 · 2020年11月3日
【Google】平滑对抗训练,Smooth Adversarial Training
专知会员服务
49+阅读 · 2020年7月4日
【ICLR 2019】双曲注意力网络,Hyperbolic  Attention Network
专知会员服务
84+阅读 · 2020年6月21日
最新BERT相关论文清单,BERT-related Papers
专知会员服务
53+阅读 · 2019年9月29日
已删除
将门创投
12+阅读 · 2018年6月25日
Capsule Networks解析
机器学习研究会
11+阅读 · 2017年11月12日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Arxiv
0+阅读 · 2021年7月22日
Arxiv
7+阅读 · 2021年5月13日
Arxiv
9+阅读 · 2020年10月29日
Arxiv
9+阅读 · 2018年1月4日
Arxiv
5+阅读 · 2017年12月14日
VIP会员
最新内容
ICML 2026 | CFPO:用反事实策略优化提升多模态推理
专知会员服务
1+阅读 · 今天14:45
综述 | 世界动作模型:少做梦,多行动
专知会员服务
1+阅读 · 今天14:43
美以伊冲突:无人机与人工智能的运用
专知会员服务
4+阅读 · 今天14:31
《特种部队在透明战场中的生存力》最新报告
专知会员服务
2+阅读 · 今天14:11
《人工智能生成的零日漏洞:对未来作战的影响》
综述 | 3D场景图:开放挑战与未来方向
专知会员服务
8+阅读 · 6月22日
21世纪的无人机战争
专知会员服务
4+阅读 · 6月22日
《量子技术的军事任务技术适配与利用》
专知会员服务
5+阅读 · 6月22日
相关资讯
已删除
将门创投
12+阅读 · 2018年6月25日
Capsule Networks解析
机器学习研究会
11+阅读 · 2017年11月12日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Top
微信扫码咨询专知VIP会员