We study the geometry of the fixed-rank core covariance manifold and propose a novel covariance estimator for matrix-variate data leveraging this geometry. To generalize the separable covariance model, Hoff, McCormack, and Zhang (2023) showed that every covariance matrix $Σ$ of $p_1\times p_2$ matrix-variate data uniquely decomposes into a separable component $K$ and a core component $C$. Such a decomposition also exists for rank-$r$ $Σ$ if $p_1/p_2+p_2/p_1<r$, with $C$ sharing the same rank. They posed an open question on whether a partial-isotropy structure can be imposed on $C$ for high-dimensional covariance estimation. We address this question by showing that a partial-isotropy rank-$r$ core is a non-trivial convex combination of a rank-$r$ core and $I_p$ for $p:=p_1p_2$. This motivates studying the geometry of the space of rank-$r$ cores, $\mathcal{C}_{p_1,p_2,r}^+$. We show that $\mathcal{C}_{p_1,p_2,r}^+$ is a smooth manifold, except for a measure-zero subset, whereas $\mathcal{C}_{p_1,p_2}^{++}:=\mathcal{C}_{p_1,p_2,p}^+$ is itself a smooth manifold. The geometric properties, including smoothness of the positive definite cone via separability and the Riemannian gradient and Hessian operator relevant to $\mathcal{C}_{p_1,p_2,r}^+$, are also derived. Using this geometry, we propose a partial-isotropy core shrinkage estimator for matrix-variate data, supported by numerical illustrations.


翻译:我们研究了固定秩核心协方差流形的几何结构,并利用该几何提出了一种针对矩阵变量数据的新型协方差估计器。为推广可分离协方差模型,Hoff、McCormack和Zhang(2023)证明了任意 $p_1\times p_2$ 矩阵变量数据的协方差矩阵 $Σ$ 均可唯一分解为可分离分量 $K$ 与核心分量 $C$。当 $p_1/p_2+p_2/p_1<r$ 时,秩为 $r$ 的 $Σ$ 同样存在此类分解,且 $C$ 保持相同秩数。他们提出一个开放性问题:是否可以对 $C$ 施加部分各向同性结构以实现高维协方差估计?我们通过证明部分各向同性秩-$r$ 核心是秩-$r$ 核心与 $I_p$(其中 $p:=p_1p_2$)的非平凡凸组合来回应此问题。这促使我们研究秩-$r$ 核心空间 $\mathcal{C}_{p_1,p_2,r}^+$ 的几何特性。我们证明除测度为零的子集外,$\mathcal{C}_{p_1,p_2,r}^+$ 构成光滑流形,而 $\mathcal{C}_{p_1,p_2}^{++}:=\mathcal{C}_{p_1,p_2,p}^+$ 本身即为光滑流形。同时推导了相关几何性质,包括通过可分离性实现的正定锥光滑性,以及与 $\mathcal{C}_{p_1,p_2,r}^+$ 相关的黎曼梯度和Hessian算子。基于此几何框架,我们提出了一种针对矩阵变量数据的部分各向同性核心收缩估计器,并通过数值算例予以验证。

0
下载
关闭预览

相关内容

几何观点下的深度学习
专知会员服务
35+阅读 · 2022年12月13日
《多源导航架构的协方差分析》美国空军2022最新101页论文
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
相关VIP内容
几何观点下的深度学习
专知会员服务
35+阅读 · 2022年12月13日
《多源导航架构的协方差分析》美国空军2022最新101页论文
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员