We study the expectation-maximization (EM) algorithm for general latent-variable models under (i) distributional misspecification and (ii) nonidentifiability induced by a group action. We formulate EM on the quotient parameter space and measure error using an arbitrary integral probability metric (IPM). Our main results give (a) a sharp local linear convergence rate for population EM governed by the spectral radius of the linearization on a local slice, and (b) tight finite-sample bounds for sample EM obtained via perturbed contraction inequalities and generic chaining/entropy control of EM-induced empirical processes.


翻译:本研究探讨期望最大化(EM)算法在(i)分布误设与(ii)群作用导致的不可识别性条件下,在一般隐变量模型中的应用。我们在商参数空间上构建EM算法框架,并采用任意积分概率度量(IPM)衡量误差。主要研究成果包括:(a)通过局部切片线性化谱半径刻画总体EM的尖锐局部线性收敛率;(b)结合扰动收缩不等式与EM诱导经验过程的通用链式/熵控制方法,获得样本EM的紧致有限样本界。

0
下载
关闭预览

相关内容

【ICML2023】SEGA:结构熵引导的图对比学习锚视图
专知会员服务
23+阅读 · 2023年5月10日
【ICML2022】几何多模态对比表示学习
专知会员服务
45+阅读 · 2022年7月17日
MonoGRNet:单目3D目标检测的通用框架(TPAMI2021)
专知会员服务
18+阅读 · 2021年5月3日
论文浅尝 | ICLR2020 - 基于组合的多关系图卷积网络
开放知识图谱
21+阅读 · 2020年4月24日
误差反向传播——CNN
统计学习与视觉计算组
30+阅读 · 2018年7月12日
概率图模型体系:HMM、MEMM、CRF
机器学习研究会
30+阅读 · 2018年2月10日
LibRec 每周算法:DeepFM
LibRec智能推荐
14+阅读 · 2017年11月6日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关VIP内容
【ICML2023】SEGA:结构熵引导的图对比学习锚视图
专知会员服务
23+阅读 · 2023年5月10日
【ICML2022】几何多模态对比表示学习
专知会员服务
45+阅读 · 2022年7月17日
MonoGRNet:单目3D目标检测的通用框架(TPAMI2021)
专知会员服务
18+阅读 · 2021年5月3日
相关资讯
论文浅尝 | ICLR2020 - 基于组合的多关系图卷积网络
开放知识图谱
21+阅读 · 2020年4月24日
误差反向传播——CNN
统计学习与视觉计算组
30+阅读 · 2018年7月12日
概率图模型体系:HMM、MEMM、CRF
机器学习研究会
30+阅读 · 2018年2月10日
LibRec 每周算法:DeepFM
LibRec智能推荐
14+阅读 · 2017年11月6日
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员