We study estimation and detection of high-order moment and cumulant tensors from $n$ i.i.d.\ observations of a $p$-dimensional random vector, with performance measured in tensor spectral norm. Under sub-Gaussianity, we show that the minimax rate for estimating the order-$d$ moment and cumulant tensors is $\sqrt{p/n}\wedge 1$. In contrast to covariance estimation, the sample moment tensor is generally not rate-optimal for $d\ge 3$, and we construct an estimator that attains the minimax rate up to logarithmic factors. On the computational side, we study testing whether the $d$-th order cumulant tensor vanishes after whitening. Using the low-degree polynomial framework, we provide evidence that detection is computationally hard when $n\ll p^{d/2}$. At the same time, we identify a regime in which an efficiently computable estimator achieves error smaller than the separation at which low-degree tests can reliably distinguish the null from the alternative. This reveals an unusual reverse detection--estimation gap: computationally efficient detection can be harder than computationally efficient estimation. The underlying reason is that the relevant loss, tensor spectral norm, is itself NP-hard to compute, creating a new form of computational--statistical gap.


翻译:我们从$n$个$p$维随机向量的独立同分布观测出发,研究高阶矩张量与累积量张量的估计与检测问题,其性能通过张量谱范数衡量。在次高斯性假设下,我们证明$d$阶矩张量与累积量张量的极小化极大估计率为$\sqrt{p/n}\wedge 1$。与协方差估计不同,样本矩张量在$d\ge 3$时通常不是率最优的,我们构造了一个估计量,在对数因子范围内达到了极小化极大估计率。在计算层面,我们研究了白化后$d$阶累积量张量是否为零的检验问题。利用低次多项式框架,我们提供了证据表明当$n\ll p^{d/2}$时,检测问题是计算困难的。同时,我们识别出一个区域,在该区域内存在高效可计算的估计量,其误差小于低次检验能够可靠区分原假设与备择假设所需的间隔。这揭示了一种反常的逆向检测—估计差距:高效可计算的检测可能比高效可计算的估计更加困难。其根本原因在于相关损失函数(张量谱范数)本身是NP难计算的,从而产生了一种新形式的计算—统计差距。

0
下载
关闭预览

相关内容

异常检测(Anomaly Detection)综述
极市平台
20+阅读 · 2020年10月24日
你的算法可靠吗? 神经网络不确定性度量
专知
40+阅读 · 2019年4月27日
异常检测的阈值,你怎么选?给你整理好了...
机器学习算法与Python学习
10+阅读 · 2018年9月19日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
最新内容
美国从乌克兰无人机战争中学习经验
专知会员服务
7+阅读 · 6月21日
ICML 2026 | 面向视觉语言模型的语义鲁棒性认证
专知会员服务
5+阅读 · 6月21日
学习数据的几何:形状空间分析数学综述
专知会员服务
10+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
12+阅读 · 6月17日
相关VIP内容
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员