In probabilistic principal component analysis (PPCA), an observed vector is modeled as a linear transformation of a low-dimensional Gaussian factor plus isotropic noise. We generalize PPCA to tensors by constraining the loading operator to have Tucker structure, yielding a probabilistic multilinear PCA model that enables uncertainty quantification and naturally accommodates multiple, possibly heterogeneous, tensor observations. We develop the associated theory: we establish identifiability of the loadings and noise variance and show that-unlike in matrix PPCA-the maximum likelihood estimator (MLE) exists even from a single tensor sample. We then study two estimators. First, we consider the MLE and propose an expectation maximization (EM) algorithm to compute it. Second, exploiting that Tucker maps correspond to rank-one elements after a Kronecker lifting, we design a computationally efficient estimator for which we provide provable finite-sample guarantees. Together, these results provide a coherent probabilistic framework and practical algorithms for learning from tensor-valued data.


翻译:在概率主成分分析(PPCA)中,观测向量被建模为一个低维高斯因子的线性变换加上各向同性噪声。我们将PPCA推广至张量,通过约束载荷算子具有Tucker结构,得到一个概率多线性PCA模型。该模型能够进行不确定性量化,并自然地容纳多个(可能异质的)张量观测。我们发展了相关理论:建立了载荷矩阵和噪声方差的可识别性,并证明——与矩阵PPCA不同——即使仅从单个张量样本出发,最大似然估计量(MLE)也存在。随后我们研究了两种估计量。首先,我们考虑MLE并提出一种期望最大化(EM)算法进行计算。其次,利用Tucker映射在Kronecker提升后对应于秩一元素的特性,我们设计了一种计算高效的估计量,并为其提供了可证明的有限样本保证。这些结果共同为从张量值数据中学习提供了一个连贯的概率框架和实用算法。

0
下载
关闭预览

相关内容

【ACL2020】多模态信息抽取,365页ppt
专知会员服务
151+阅读 · 2020年7月6日
FlowQA: Grasping Flow in History for Conversational Machine Comprehension
专知会员服务
34+阅读 · 2019年10月18日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
163+阅读 · 2019年10月12日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
STRCF for Visual Object Tracking
统计学习与视觉计算组
15+阅读 · 2018年5月29日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
14+阅读 · 2024年5月28日
Arxiv
18+阅读 · 2022年11月21日
Arxiv
31+阅读 · 2021年6月30日
Arxiv
13+阅读 · 2021年5月25日
Arxiv
29+阅读 · 2017年12月6日
VIP会员
相关VIP内容
相关资讯
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
STRCF for Visual Object Tracking
统计学习与视觉计算组
15+阅读 · 2018年5月29日
相关论文
Arxiv
14+阅读 · 2024年5月28日
Arxiv
18+阅读 · 2022年11月21日
Arxiv
31+阅读 · 2021年6月30日
Arxiv
13+阅读 · 2021年5月25日
Arxiv
29+阅读 · 2017年12月6日
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员