We study the expectation-maximization (EM) algorithm for general latent-variable models under (i) distributional misspecification and (ii) nonidentifiability induced by a group action. We formulate EM on the quotient parameter space and measure error using an arbitrary integral probability metric (IPM). Our main results give (a) a sharp local linear convergence rate for population EM governed by the spectral radius of the linearization on a local slice, and (b) tight finite-sample bounds for sample EM obtained via perturbed contraction inequalities and generic chaining/entropy control of EM-induced empirical processes.


翻译:本研究探讨期望最大化(EM)算法在(i)分布误设与(ii)群作用导致的不可识别性条件下,在一般隐变量模型中的应用。我们在商参数空间上构建EM算法框架,并采用任意积分概率度量(IPM)衡量误差。主要研究成果包括:(a)通过局部切片线性化谱半径刻画总体EM的尖锐局部线性收敛率;(b)结合扰动收缩不等式与EM诱导经验过程的通用链式/熵控制方法,获得样本EM的紧致有限样本界。

0
下载
关闭预览

相关内容

ICLR 2024 | 近似最优的最大损失函数量子优化算法
专知会员服务
21+阅读 · 2024年2月23日
专知会员服务
16+阅读 · 2021年5月21日
机器学习中的最优化算法总结
人工智能前沿讲习班
22+阅读 · 2019年3月22日
从最大似然到EM算法:一致的理解方式
PaperWeekly
19+阅读 · 2018年3月19日
概率图模型体系:HMM、MEMM、CRF
机器学习研究会
30+阅读 · 2018年2月10日
干货|EM算法原理总结
全球人工智能
17+阅读 · 2018年1月10日
干货|通俗易懂地解释EM算法并举例说明?
机器学习研究会
12+阅读 · 2017年11月17日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
VIP会员
相关VIP内容
ICLR 2024 | 近似最优的最大损失函数量子优化算法
专知会员服务
21+阅读 · 2024年2月23日
专知会员服务
16+阅读 · 2021年5月21日
相关资讯
机器学习中的最优化算法总结
人工智能前沿讲习班
22+阅读 · 2019年3月22日
从最大似然到EM算法:一致的理解方式
PaperWeekly
19+阅读 · 2018年3月19日
概率图模型体系:HMM、MEMM、CRF
机器学习研究会
30+阅读 · 2018年2月10日
干货|EM算法原理总结
全球人工智能
17+阅读 · 2018年1月10日
干货|通俗易懂地解释EM算法并举例说明?
机器学习研究会
12+阅读 · 2017年11月17日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员