We visit and slightly modify the proof of Hanson-Wright inequality (HW inequality) for concentration of Gaussian quadratic chaos where we are able to tighten the bound by increasing the absolute constant in its formulation from its largest currently known value of 0.125 to at least 0.145 in the symmetric case. We also present a sharper version of the so-called Laurent-Massart inequality (LM inequality) through which we are able to increase the absolute constant in HW inequality from its largest currently available value of 0.134 due to LM inequality itself to at least 0.152 in the positive-semidefinite case. Generalizing HW inequality in the symmetric case, we derive a sequence of concentration bounds for Gaussian quadratic chaos indexed over m = 1, 2, 3,... that involves the Schatten norms of the underlying matrix. The case m = 1 reduces to HW inequality. These bounds exhibit a phase transition in behaviour in the sense that m = 1 results in the tightest bound if the deviation is smaller than a critical threshold and the bounds keep getting tighter as the index m increases when the deviation is larger than the aforementioned threshold. Finally, we derive a concentration bound that is asymptotically tighter than HW inequality both in the small and large deviation regimes.


翻译:我们重新审视并略微修改了高斯二次混沌浓度的 Hanson-Wright 不等式(HW 不等式)证明,从而能够通过将其表述中的绝对常数从当前已知的最大值 0.125 增加到至少 0.145(对称情形)来收紧界。我们还提出了所谓的 Laurent-Massart 不等式(LM 不等式)的一个更尖锐版本,通过该版本我们能够将 HW 不等式中的绝对常数从当前由 LM 不等式本身提供的最大值 0.134 增加到至少 0.152(半正定情形)。通过推广对称情形下的 HW 不等式,我们推导出由 m = 1, 2, 3,... 索引的高斯二次混沌的一系列浓度界,这些界涉及底层矩阵的 Schatten 范数。m = 1 的情形退化为 HW 不等式。这些界表现出行为上的相变,其意义在于:当偏差小于一个临界阈值时,m = 1 给出最紧的界;而当偏差大于上述阈值时,随着索引 m 的增加,界会变得越来越紧。最后,我们推导出一个在大小偏差区域都渐近地比 HW 不等式更紧的浓度界。

0
下载
关闭预览

相关内容

【ACL2020】多模态信息抽取,365页ppt
专知会员服务
151+阅读 · 2020年7月6日
FlowQA: Grasping Flow in History for Conversational Machine Comprehension
专知会员服务
34+阅读 · 2019年10月18日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
60+阅读 · 2019年10月17日
《DeepGCNs: Making GCNs Go as Deep as CNNs》
专知会员服务
32+阅读 · 2019年10月17日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
164+阅读 · 2019年10月12日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
41+阅读 · 2019年10月9日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
18+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
STRCF for Visual Object Tracking
统计学习与视觉计算组
15+阅读 · 2018年5月29日
Focal Loss for Dense Object Detection
统计学习与视觉计算组
12+阅读 · 2018年3月15日
IJCAI | Cascade Dynamics Modeling with Attention-based RNN
KingsGarden
13+阅读 · 2017年7月16日
From Softmax to Sparsemax-ICML16(1)
KingsGarden
74+阅读 · 2016年11月26日
国家自然科学基金
13+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Arxiv
18+阅读 · 2022年11月21日
Arxiv
76+阅读 · 2022年3月26日
Arxiv
20+阅读 · 2021年9月22日
Arxiv
31+阅读 · 2021年6月30日
Adversarial Mutual Information for Text Generation
Arxiv
13+阅读 · 2020年6月30日
Arxiv
26+阅读 · 2019年11月24日
Domain Representation for Knowledge Graph Embedding
Arxiv
14+阅读 · 2019年9月11日
VIP会员
相关VIP内容
相关资讯
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
18+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
STRCF for Visual Object Tracking
统计学习与视觉计算组
15+阅读 · 2018年5月29日
Focal Loss for Dense Object Detection
统计学习与视觉计算组
12+阅读 · 2018年3月15日
IJCAI | Cascade Dynamics Modeling with Attention-based RNN
KingsGarden
13+阅读 · 2017年7月16日
From Softmax to Sparsemax-ICML16(1)
KingsGarden
74+阅读 · 2016年11月26日
相关论文
Arxiv
18+阅读 · 2022年11月21日
Arxiv
76+阅读 · 2022年3月26日
Arxiv
20+阅读 · 2021年9月22日
Arxiv
31+阅读 · 2021年6月30日
Adversarial Mutual Information for Text Generation
Arxiv
13+阅读 · 2020年6月30日
Arxiv
26+阅读 · 2019年11月24日
Domain Representation for Knowledge Graph Embedding
Arxiv
14+阅读 · 2019年9月11日
相关基金
国家自然科学基金
13+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员