This paper addresses the estimation of signals with sublinear sparsity sent over the additive white Gaussian noise channel. This fundamental problem arises in designing denoisers used in message-passing algorithms for sublinear sparsity. The main results are direct and converse theorems in the sublinear sparsity limit, where the signal sparsity grows sublinearly in the signal dimension as the signal dimension tends to infinity. As a direct theorem, the maximum likelihood estimator is proved to achieve vanishing square error in the sublinear sparsity limit if the noise variance is smaller than a threshold. As a converse theorem, all estimators cannot achieve square errors smaller than the signal power under a mild condition if the noise variance is larger than another threshold. In particular, the two thresholds coincide with each other when non-zero signals have constant amplitude. These results imply the asymptotic optimality of an existing separable Bayesian estimator used in approximate message-passing for sublinear sparsity.


翻译:本文研究了通过加性高斯白噪声信道传输的亚线性稀疏信号的估计问题。这一基础问题在设计用于亚线性稀疏度的消息传递算法的去噪器时出现。主要结果是在亚线性稀疏极限下的正定理与逆定理,其中当信号维度趋于无穷时,信号稀疏度随信号维度亚线性增长。作为正定理,本文证明了若噪声方差小于某一阈值,则最大似然估计器在亚线性稀疏极限下可实现趋于零的平方误差。作为逆定理,本文证明了若噪声方差大于另一阈值,则在温和条件下所有估计器均无法获得小于信号功率的平方误差。特别地,当非零信号具有恒定幅度时,这两个阈值彼此重合。这些结果意味着,现有用于亚线性稀疏度近似消息传递的可分离贝叶斯估计器具有渐近最优性。

0
下载
关闭预览

相关内容

从图像去噪到成像逆问题的正则化:综述
专知会员服务
13+阅读 · 2025年9月4日
【博士论文】利用图结构加速稀疏计算
专知会员服务
18+阅读 · 2025年3月6日
专知会员服务
56+阅读 · 2021年8月29日
稀疏性的3个优势 -《稀疏统计学习及其应用》
遇见数学
15+阅读 · 2018年10月24日
【直观详解】信息熵、交叉熵和相对熵
机器学习研究会
10+阅读 · 2017年11月7日
FCS 论坛 | 孟德宇:误差建模原理
FCS
15+阅读 · 2017年8月17日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
相关VIP内容
从图像去噪到成像逆问题的正则化:综述
专知会员服务
13+阅读 · 2025年9月4日
【博士论文】利用图结构加速稀疏计算
专知会员服务
18+阅读 · 2025年3月6日
专知会员服务
56+阅读 · 2021年8月29日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员