We develop a novel framework for bounding the contraction of information divergences, using duality and associated norms in Orlicz spaces. By working in the dual space, we obtain a principled approach to bounding both distribution-dependent strong data-processing inequality (SDPI) constants and \(F_\varphi\)-curves of divergences. Our bounds are either available in closed form or reducible to one-dimensional convex optimisation problems, in contrast to the infinite-dimensional optimisation problems that characterise SDPIs. These bounds depend on the densities of the reverse kernels with respect to a reference measure. To the best of our knowledge, they are the first universal closed-form bounds on distribution-dependent SDPI constants. We establish tightness for the \(χ^2\)-divergence on several important channel classes, including full-rank binary kernels. We apply our results to several settings. In particular, we derive bounds on the mixing times of Markov chains, including chains with heavy-tailed stationary distributions; obtain improved bounds on burn-in periods for Markov chain Monte Carlo; and strengthen concentration-of-measure bounds for dependent random variables.


翻译:暂无翻译

0
下载
关闭预览

相关内容

Stabilizing Transformers for Reinforcement Learning
专知会员服务
61+阅读 · 2019年10月17日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
一文读懂生成对抗网络GANs(附学习资源)
数据派THU
10+阅读 · 2018年2月9日
国家自然科学基金
122+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
综述 | 面向大模型智能体的图结构个性化记忆
专知会员服务
0+阅读 · 今天13:56
人工智能与未来空战管理
专知会员服务
6+阅读 · 9月9日
机器的崛起:美海军陆战队组建机器人营思考
专知会员服务
9+阅读 · 9月8日
无面之战:人工智能如何重绘权力版图
专知会员服务
6+阅读 · 9月8日
相关VIP内容
Stabilizing Transformers for Reinforcement Learning
专知会员服务
61+阅读 · 2019年10月17日
相关基金
国家自然科学基金
122+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员