Finite-time central limit theorem (CLT) rates play a central role in modern machine learning (ML). In this paper, we study CLT rates for multivariate dependent data in Wasserstein-$p$ ($\mathcal W_p$) distance, for general $p\ge 1$. We focus on two fundamental dependence structures that commonly arise in ML: locally dependent sequences and geometrically ergodic Markov chains. In both settings, we establish the \textit{first optimal} $\mathcal O(n^{-1/2})$ rate in $\mathcal W_1$, as well as the first $\mathcal W_p$ ($p\ge 2$) CLT rates under mild moment assumptions, substantially improving the best previously known bounds in these dependent-data regimes. As an application of our optimal $\mathcal W_1$ rate for locally dependent sequences, we further obtain the first optimal $\mathcal W_1$--CLT rate for multivariate $U$-statistics. On the technical side, we derive a tractable auxiliary bound for $\mathcal W_1$ Gaussian approximation errors that is well suited to studying dependent data. For Markov chains, we further prove that the regeneration time of the split chain associated with a geometrically ergodic chain has a geometric tail without assuming strong aperiodicity or other restrictive conditions. These tools may be of independent interests and enable our optimal $\mathcal W_1$ rates and underpin our $\mathcal W_p$ ($p\ge 2$) results.


翻译:有限时间中心极限定理(CLT)收敛速率在现代机器学习(ML)中具有核心地位。本文研究多元依赖数据在Wasserstein-$p$($\mathcal W_p$)距离下的CLT收敛速率,其中$p\ge 1$为一般值。我们聚焦于机器学习中常见的两种基本依赖结构:局部依赖序列与几何遍历马尔可夫链。在这两种设定下,我们首次在$\mathcal W_1$距离下建立了\textit{最优的}$\mathcal O(n^{-1/2})$收敛速率,并在温和矩假设下首次获得了$\mathcal W_p$($p\ge 2$)距离的CLT收敛速率,显著改进了此前在这些依赖数据体系中的最佳已知界。作为局部依赖序列最优$\mathcal W_1$收敛速率的应用,我们进一步获得了多元$U$-统计量的首个最优$\mathcal W_1$--CLT收敛速率。在技术层面,我们推导了一个适用于研究依赖数据的、易于处理的$\mathcal W_1$高斯近似误差辅助界。对于马尔可夫链,我们进一步证明了与几何遍历链相关联的分裂链的再生时间具有几何尾部,且无需假设强非周期性或其他限制性条件。这些工具可能具有独立的研究价值,它们支撑了我们最优的$\mathcal W_1$收敛速率,并为我们的$\mathcal W_p$($p\ge 2$)结果奠定了基础。

0
下载
关闭预览

相关内容

【经典书】中心极限定理的历史:从古典到现代概率论
专知会员服务
53+阅读 · 2023年10月20日
《资源分配博弈中的收敛率》
专知会员服务
41+阅读 · 2023年3月10日
专知会员服务
148+阅读 · 2021年8月12日
从信息瓶颈理论一瞥机器学习的“大一统理论”
最新|深度离散哈希算法,可用于图像检索!
全球人工智能
14+阅读 · 2017年12月15日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
相关VIP内容
【经典书】中心极限定理的历史:从古典到现代概率论
专知会员服务
53+阅读 · 2023年10月20日
《资源分配博弈中的收敛率》
专知会员服务
41+阅读 · 2023年3月10日
专知会员服务
148+阅读 · 2021年8月12日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员