Understanding the stochastic behavior of random projections of geometric sets constitutes a fundamental problem in high dimension probability that finds wide applications in diverse fields. This paper provides a kinematic description for the behavior of Gaussian random projections of closed convex cones, in analogy to that of randomly rotated cones studied in [ALMT14]. Formally, let $K$ be a closed convex cone in $\mathbb{R}^n$, and $G\in \mathbb{R}^{m\times n}$ be a Gaussian matrix with i.i.d. $\mathcal{N}(0,1)$ entries. We show that $GK\equiv \{Gμ: μ\in K\}$ behaves like a randomly rotated cone in $\mathbb{R}^m$ with statistical dimension $\min\{δ(K),m\}$, in the following kinematic sense: for any fixed closed convex cone $L$ in $\mathbb{R}^m$, \begin{align*} &δ(L)+δ(K)\ll m\, \Rightarrow\, L\cap GK = \{0\} \hbox{ with high probability},\\ &δ(L)+δ(K)\gg m\, \Rightarrow\, L\cap GK \neq \{0\} \hbox{ with high probability}. \end{align*} A similar kinematic description is obtained for $G^{-1}L\equiv \{μ\in \mathbb{R}^n: Gμ\in L\}$. The practical utility and broad applicability of the prescribed approximate kinematic formulae are demonstrated in a number of distinct problems arising from statistical learning, mathematical programming and asymptotic geometric analysis. In particular, we prove (i) new phase transitions of the existence of cone constrained maximum likelihood estimators in logistic regression, (ii) new phase transitions of the cost optimum of deterministic conic programs with random constraints, and (iii) a local version of the Gaussian Dvoretzky-Milman theorem that describes almost deterministic, low-dimensional behaviors of subspace sections of randomly projected convex sets.


翻译:理解几何集合随机投影的随机行为是高维概率论中的一个基本问题,在众多领域具有广泛应用。本文对闭凸锥的高斯随机投影行为给出了运动学描述,类比于[ALMT14]中研究的随机旋转锥。形式化地,设$K$为$\mathbb{R}^n$中的闭凸锥,$G\in \mathbb{R}^{m\times n}$为具有独立同分布$\mathcal{N}(0,1)$条目的高斯矩阵。我们证明$GK\equiv \{Gμ: μ\in K\}$在以下运动学意义上类似于$\mathbb{R}^m$中统计维度为$\min\{δ(K),m\}$的随机旋转锥:对于$\mathbb{R}^m$中任意固定闭凸锥$L$,\begin{align*} &δ(L)+δ(K)\ll m\, \Rightarrow\, L\cap GK = \{0\} \hbox{ 以高概率成立},\\ &δ(L)+δ(K)\gg m\, \Rightarrow\, L\cap GK \neq \{0\} \hbox{ 以高概率成立}. \end{align*} 对于$G^{-1}L\equiv \{μ\in \mathbb{R}^n: Gμ\in L\}$也可获得类似的运动学描述。所建立的近似运动公式的实用性与广泛适用性通过统计学习、数学规划及渐近几何分析中产生的多个不同问题得到验证。特别地,我们证明了:(i)逻辑回归中锥约束极大似然估计存在性的新相变现象;(ii)具有随机约束的确定性锥规划成本最优值的新相变现象;(iii)高斯Dvoretzky-Milman定理的局部形式,该定理描述了随机投影凸集子空间截面的近乎确定性低维行为。

0
下载
关闭预览

相关内容

【干货书】凸随机优化,320页pdf
专知会员服务
93+阅读 · 2022年9月16日
【经典书】凸优化理论,MIT-Dimitri P. Bertsekas教授,257页pdf
专知会员服务
42+阅读 · 2021年4月2日
【干货书】凸随机优化,320页pdf
专知
12+阅读 · 2022年9月16日
【硬核书】树与网络上的概率,716页pdf
专知
24+阅读 · 2021年12月8日
【干货书】贝叶斯推断随机过程,449页pdf
专知
31+阅读 · 2020年8月27日
博客 | 机器学习中的数学基础(凸优化)
AI研习社
14+阅读 · 2018年12月16日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Arxiv
0+阅读 · 3月17日
VIP会员
最新内容
《通往人工通用智能之路上的均衡策略》
专知会员服务
6+阅读 · 6月3日
《Palantir的科技生态系统》
专知会员服务
17+阅读 · 6月2日
《反无人机系统传感器融合》90页报告
专知会员服务
19+阅读 · 6月2日
运用人工智能与卫星通信驱散“战争迷雾”
专知会员服务
8+阅读 · 6月2日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员