We argue that dependent versions of McDiarmid's inequality are a useful but underutilized tool in mathematical statistics, learning theory and theoretical computer science. To make this point, we first highlight that approximate tensorization of entropy (ATE) implies McDiarmid's via the Entropy Method. Second, we derive McDiarmid's inequality for non-isotropic Gaussian random vectors $X \sim \mathcal N(μ, Σ)$ through ATE with a constant of the order of the condition number of $Σ$. We both independently obtain this ATE through a simple application of stochastic localization and also discuss how a more general ATE for the Gibbs sampler due to Ascolani et al., 2026 generalizes McDiarmid's-like concentration to strongly log-concave and log-smooth probability measures. We then apply the resulting concentration inequalities to resolve a question on the concentration of $\operatorname{sign}(X)$ posed by Simone Bombari, investigate Erdős-Rényi graphs under dependence and prove a Dvoretzky-Kiefer-Wolfowitz-type inequality for observations from a joint measure fulfilling ATE and continuous marginal CDFs. For the class of strongly log-concave and log-smooth measures, this result improves upon a prior Dvoretzky-Kiefer-Wolfowitz-type inequality for non-i.i.d. observations due to Bobkov and Götze, 2010, by establishing the expected $1/\sqrt{n}$-rate of convergence under weak dependence instead of $n^{-1/3}$.


翻译:我们论证了依赖情形下的McDiarmid不等式是数理统计、学习理论与理论计算机科学中实用但未被充分利用的工具。为阐明这一点,我们首先指出熵的近似张量化(ATE)可通过熵方法推导出McDiarmid不等式。其次,我们通过ATE以$\Sigma$条件数量级的常数,推导出非各向同性高斯随机向量$X \sim \mathcal N(μ, Σ)$的McDiarmid不等式。我们既通过随机局部化的简单应用独立获得此ATE,也讨论了Ascolani等人(2026)提出的针对吉布斯采样的更一般ATE如何将类似McDiarmid的集中性推广到强对数凹与对数光滑概率测度。随后,我们将所得集中不等式应用于解决Simone Bombari提出的关于$\operatorname{sign}(X)$集中性的问题,研究依赖情形下的Erdős-Rényi图,并证明对于满足ATE及连续边际CDF的联合测度观测值的Dvoretzky-Kiefer-Wolfowitz型不等式。对于强对数凹与对数光滑测度类,该结果通过建立弱依赖下预期的$1/\sqrt{n}$收敛速率(替代$n^{-1/3}$),改进了Bobkov与Götze(2010)提出的非独立同分布观测值的Dvoretzky-Kiefer-Wolfowitz型不等式。

0
下载
关闭预览

相关内容

换个角度看GAN:另一种损失函数
机器之心
16+阅读 · 2019年1月1日
机器学习各种熵:从入门到全面掌握
AI研习社
10+阅读 · 2018年3月22日
从香农熵到手推KL散度:一文带你纵览机器学习中的信息论
算法与数学之美
10+阅读 · 2018年1月14日
【直观详解】信息熵、交叉熵和相对熵
机器学习研究会
10+阅读 · 2017年11月7日
各种相似性度量及Python实现
机器学习算法与Python学习
11+阅读 · 2017年7月6日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 5月30日
VIP会员
最新内容
致命七类无人机:无人机时代的演进型合成兵种
专知会员服务
1+阅读 · 8分钟前
《异构无人水面艇集群作战自主制导算法》130页
《人工智能能通过美国陆军战争学院吗?》报告
军事域人工智能驱动系统的治理
专知会员服务
4+阅读 · 9月14日
相关VIP内容
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员