Recovery from linear measurements under sparse adversarial corruption is typically formulated as an exact-recovery problem: one seeks structural conditions on $A$ (e.g., the restricted isometry property) that guarantee unique recovery of $x^\star$ from $y = A x^\star + e$ with $\left\lVert e \right\rVert_0 \leq q$. However, in practice, these conditions are rarely met and are hard to verify, and so the existing guarantees provide no guidance once exact recovery fails. This limitation obscures even simple robustness phenomena -- for instance, repeated rows in $A$ can preserve nontrivial information about $x^\star$ under sparse corruption. In this paper, we address the more general question: for arbitrary $A \in \mathbb{R}^{m \times n}$, what information about $x^\star$ remains robust in $y$ despite any $q$-sparse adversarial corruption $e$? We show that the robust information is precisely $x^\star + \ker(U)$, where $U$ is the orthogonal projection onto the intersection of rowspaces of all submatrices of $A$ obtained by deleting $2q$ rows. This characterization clarifies, for each sparsity level $q$, how the row structure of $A$ determines whether a $q$-sparse $e$ allows exact, partial, or only trivial recovery, thereby extending the standard exact-recovery framework. We further prove that every $x$ that minimizes $\left\lVert y - A x \right\rVert_0$ belongs to $x^\star + \ker(U)$, yielding a constructive approach to recover this set. For i.i.d. Gaussian $A$, we show a sharp phase transition: depending on $m$, $n$, and $q$, either exact recovery holds or no nontrivial recovery is possible. We sketch two applications: robust network tomography and signal reconstruction from oversampled DCT measurements.


翻译:在稀疏对抗扰动下从线性测量中恢复通常被表述为精确恢复问题:即在$A$上寻找保证从$y = A x^\star + e$(其中$\left\lVert e \right\rVert_0 \leq q$)唯一恢复$x^\star$的结构条件(如限定等距性质)。然而在实践中,这些条件很少被满足且难以验证,因此现有保证在精确恢复失效时无法提供任何指导。这种局限性甚至掩盖了简单的鲁棒性现象——例如,$A$中的重复行在稀疏扰动下仍能保留关于$x^\star$的非平凡信息。本文针对更一般的问题展开研究:对于任意$A \in \mathbb{R}^{m \times n}$,尽管存在任意$q$稀疏对抗扰动$e$,$y$中关于$x^\star$的哪些信息保持鲁棒?我们证明,鲁棒信息恰好是$x^\star + \ker(U)$,其中$U$是投射到$A$删除$2q$行后所有子矩阵行空间交集上的正交投影。该刻画阐明了对于每个稀疏度$q$,$A$的行结构如何决定$q$稀疏扰动$e$是允许精确恢复、部分恢复还是仅平凡恢复,从而扩展了标准精确恢复框架。我们进一步证明,每个最小化$\left\lVert y - A x \right\rVert_0$的$x$都属于$x^\star + \ker(U)$,从而提供了恢复该集合的构造性方法。对于独立同分布的高斯矩阵$A$,我们发现尖锐相变现象:取决于$m,n,q$,要么实现精确恢复,要么无法进行任何非平凡恢复。最后简述两个应用:鲁棒网络层析成像与过采样DCT测量下的信号重建。

0
下载
关闭预览

相关内容

【博士论文】利用图结构加速稀疏计算
专知会员服务
18+阅读 · 2025年3月6日
【ETHZ博士论文】朝向更好的图像和视频恢复,159页pdf
专知会员服务
19+阅读 · 2023年10月16日
【干货书】系统与控制的稀疏性方法,214页pdf
专知会员服务
40+阅读 · 2023年5月19日
生成先验的信号恢复
专知会员服务
22+阅读 · 2023年1月5日
【MIT博士论文】机器学习中的稀疏性:理论与应用,122页pdf
稀疏大模型简述:从MoE、Sparse Attention到GLaM
夕小瑶的卖萌屋
14+阅读 · 2022年3月22日
一文读懂线性回归、岭回归和Lasso回归
CSDN
34+阅读 · 2019年10月13日
稀疏性的3个优势 -《稀疏统计学习及其应用》
遇见数学
15+阅读 · 2018年10月24日
数据分析师应该知道的16种回归技术:岭回归
数萃大数据
15+阅读 · 2018年8月11日
线性回归:简单线性回归详解
专知
12+阅读 · 2018年3月10日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
VIP会员
最新内容
俄乌无人机战争的六大启示
专知会员服务
8+阅读 · 8月3日
《无人机空中监控:通信实验洞察》
专知会员服务
6+阅读 · 8月3日
从采集到决策:美军视角下的战术情报范式重构
《履带式无人地面战车技术发展现状》
专知会员服务
6+阅读 · 8月2日
《无人机脆弱性利用:网络空间力量的新域》
专知会员服务
7+阅读 · 8月1日
美空军如何将人工智能从战场部署至后方机关
专知会员服务
14+阅读 · 7月31日
相关资讯
稀疏大模型简述:从MoE、Sparse Attention到GLaM
夕小瑶的卖萌屋
14+阅读 · 2022年3月22日
一文读懂线性回归、岭回归和Lasso回归
CSDN
34+阅读 · 2019年10月13日
稀疏性的3个优势 -《稀疏统计学习及其应用》
遇见数学
15+阅读 · 2018年10月24日
数据分析师应该知道的16种回归技术:岭回归
数萃大数据
15+阅读 · 2018年8月11日
线性回归:简单线性回归详解
专知
12+阅读 · 2018年3月10日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员