Learning of continuous exponential family distributions with unbounded support remains an important area of research for both theory and applications in high-dimensional statistics. In recent years, score matching has become a widely used method for learning exponential families with continuous variables due to its computational ease when compared against maximum likelihood estimation. However, theoretical understanding of the statistical properties of score matching is still lacking. In this work, we provide a non-asymptotic sample complexity analysis for learning the structure of exponential families of polynomials with score matching. The derived sample bounds show a polynomial dependence on the model dimension. These bounds are the first of its kind, as all prior work has shown only asymptotic bounds on the sample complexity.


翻译:具有无界支撑的连续指数族分布的学习,对于高维统计的理论和应用而言仍是一个重要的研究领域。近年来,得分匹配因其相较于最大似然估计在计算上的简易性,已成为学习连续变量指数族分布的常用方法。然而,对得分匹配统计特性的理论理解仍显不足。本文中,我们针对利用得分匹配学习多项式指数族结构的问题,进行了非渐近的样本复杂度分析。导出的样本界显示其与模型维度呈多项式依赖关系。这些界是该领域的首个成果,因为此前所有工作仅展示了样本复杂度的渐近界。

0
下载
关闭预览

相关内容

【剑桥大学博士论文】机器学习中的分布外泛化,214页pdf
【经典书】统计学习导论,434页pdf,斯坦福大学
专知会员服务
242+阅读 · 2020年4月29日
稀疏性的3个优势 -《稀疏统计学习及其应用》
遇见数学
15+阅读 · 2018年10月24日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
17+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
最新内容
《边缘计算关键技术分析及美军作战实践应用》
专知会员服务
0+阅读 · 今天14:08
边缘计算的军事应用
专知会员服务
1+阅读 · 今天13:50
一种考虑资源机动性的武器目标分配混合算法
专知会员服务
4+阅读 · 8月8日
《多域冲突比较支持模型》60页
专知会员服务
10+阅读 · 8月7日
相关VIP内容
【剑桥大学博士论文】机器学习中的分布外泛化,214页pdf
【经典书】统计学习导论,434页pdf,斯坦福大学
专知会员服务
242+阅读 · 2020年4月29日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
17+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员