While classical statistics has addressed observations that are real numbers or elements of a real vector space, at present many statistical problems of high interest in the sciences address the analysis of data that consist of more complex objects, taking values in spaces that are naturally not (Euclidean) vector spaces but which still feature some geometric structure. Manifold fitting is a long-standing problem, and has finally been addressed in recent years by Fefferman et al. (2020, 2021a). We develop a method with a theory guarantee that fits a $d$-dimensional underlying manifold from noisy observations sampled in the ambient space $\mathbb{R}^D$. The new approach uses geometric structures to obtain the manifold estimator in the form of image sets via a two-step mapping approach. We prove that, under certain mild assumptions and with a sample size $N=\mathcal{O}(\sigma^{(-d+3)})$, these estimators are true $d$-dimensional smooth manifolds whose estimation error, as measured by the Hausdorff distance, is bounded by $\mathcal{O}(\sigma^2\log(1/\sigma))$ with high probability. Compared with the existing approaches proposed in Fefferman et al. (2018, 2021b); Genovese et al. (2014); Yao and Xia (2019), our method exhibits superior efficiency while attaining very low error rates with a significantly reduced sample size, which scales polynomially in $\sigma^{-1}$ and exponentially in $d$. Extensive simulations are performed to validate our theoretical results. Our findings are relevant to various fields involving high-dimensional data in statistics and machine learning. Furthermore, our method opens up new avenues for existing non-Euclidean statistical methods in the sense that it has the potential to unify them to analyze data on manifolds in the ambience space domain.


翻译:经典统计学主要处理实数或实向量空间中的观测值,而当前科学领域中许多备受关注的统计问题涉及对更复杂对象的分析,这些对象的值存在于天然非(欧几里得)向量空间但仍具有某种几何结构的空间中。流形拟合是一个长期存在的问题,近年来Fefferman等人(2020, 2021a)终于对其展开了研究。我们提出了一种具有理论保证的方法,可从环境空间$\mathbb{R}^D$中采样的带噪声观测值拟合出$d$维底层流形。该方法利用几何结构,通过两步映射方法以像集形式获得流形估计量。我们证明,在特定温和假设下,当样本量$N=\mathcal{O}(\sigma^{(-d+3)})$时,这些估计量为真正的$d$维光滑流形,其由豪斯多夫距离度量的估计误差以高概率被$\mathcal{O}(\sigma^2\log(1/\sigma))$界定量级所约束。与Fefferman等人(2018, 2021b)、Genovese等人(2014)以及Yao和Xia(2019)提出的现有方法相比,我们的方法在显著降低样本量的同时实现了极低误差率与更优效率,其中样本量关于$\sigma^{-1}$呈多项式增长,关于$d$呈指数增长。我们通过大量仿真验证了理论结果。这些发现对于统计学和机器学习中涉及高维数据的多个领域具有应用价值。此外,我们的方法为现有非欧几里得统计方法开辟了新路径,因其具有统一这些方法以分析环境空间域中流形数据的潜力。

0
下载
关闭预览

相关内容

【2023新书】随机模型基础,815页pdf
专知会员服务
105+阅读 · 2023年5月10日
【2023新书】使用Python进行统计和数据可视化,554页pdf
专知会员服务
131+阅读 · 2023年1月29日
不可错过!《机器学习100讲》课程,UBC Mark Schmidt讲授
专知会员服务
76+阅读 · 2022年6月28日
专知会员服务
45+阅读 · 2020年12月18日
神经网络的损失函数为什么是非凸的?
极市平台
12+阅读 · 2019年9月26日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
Single-Shot Object Detection with Enriched Semantics
统计学习与视觉计算组
14+阅读 · 2018年8月29日
动手写机器学习算法:异常检测 Anomaly Detection
七月在线实验室
11+阅读 · 2017年12月8日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
Capsule Networks解析
机器学习研究会
11+阅读 · 2017年11月12日
【推荐】RNN/LSTM时序预测
机器学习研究会
25+阅读 · 2017年9月8日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
Arxiv
0+阅读 · 2023年6月1日
Arxiv
0+阅读 · 2023年6月1日
Arxiv
0+阅读 · 2023年5月30日
Arxiv
10+阅读 · 2021年11月3日
VIP会员
最新内容
致命七类无人机:无人机时代的演进型合成兵种
《异构无人水面艇集群作战自主制导算法》130页
相关VIP内容
【2023新书】随机模型基础,815页pdf
专知会员服务
105+阅读 · 2023年5月10日
【2023新书】使用Python进行统计和数据可视化,554页pdf
专知会员服务
131+阅读 · 2023年1月29日
不可错过!《机器学习100讲》课程,UBC Mark Schmidt讲授
专知会员服务
76+阅读 · 2022年6月28日
专知会员服务
45+阅读 · 2020年12月18日
相关资讯
神经网络的损失函数为什么是非凸的?
极市平台
12+阅读 · 2019年9月26日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
Single-Shot Object Detection with Enriched Semantics
统计学习与视觉计算组
14+阅读 · 2018年8月29日
动手写机器学习算法:异常检测 Anomaly Detection
七月在线实验室
11+阅读 · 2017年12月8日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
Capsule Networks解析
机器学习研究会
11+阅读 · 2017年11月12日
【推荐】RNN/LSTM时序预测
机器学习研究会
25+阅读 · 2017年9月8日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员