We characterize Martin-Löf randomness and Schnorr randomness in terms of the merging of opinions, along the lines of the Blackwell-Dubins Theorem. After setting up a general framework for defining notions of merging randomness, we focus on finite horizon events, that is, on weak merging in the sense of Kalai-Lehrer. In contrast to Blackwell-Dubins and Kalai-Lehrer, we consider not only the total variational distance but also the Hellinger distance and the Kullback-Leibler divergence. Our main result is a characterization of Martin-Löf randomness and Schnorr randomness in terms of weak merging and the summable Kullback-Leibler divergence. The main proof idea is that the Kullback-Leibler divergence between $μ$ and $ν$, at a given stage of the learning process, is exactly the incremental growth, at that stage, of the predictable process of the Doob decomposition of the $ν$-submartingale $L(σ)=-\ln \frac{μ(σ)}{ν(σ)}$. These characterizations of algorithmic randomness notions in terms of the Kullback-Leibler divergence can be viewed as global analogues of Vovk's theorem on what transpires locally with individual Martin-Löf $μ$- and $ν$-random points and the Hellinger distance between $μ,ν$.


翻译:我们依据Blackwell-Dubins定理的思想,通过观点合并来刻画Martin-Löf随机性和Schnorr随机性。在建立了定义合并随机性概念的一般框架后,我们聚焦于有限视界事件,即Kalai-Lehrer意义上的弱合并。与Blackwell-Dubins和Kalai-Lehrer不同,我们不仅考虑全变差距离,还考虑了Hellinger距离和Kullback-Leibler散度。我们的主要结果是用弱合并与可和的Kullback-Leibler散度来刻画Martin-Löf随机性和Schnorr随机性。证明的核心思想是:在学习过程的给定阶段,$μ$与$ν$之间的Kullback-Leibler散度恰好等于$ν$-下鞅$L(σ)=-\ln \frac{μ(σ)}{ν(σ)}$的Doob分解中可预测过程在该阶段的增量增长。这些基于Kullback-Leibler散度的算法随机性刻画,可视为Vovk定理的全局类比——该定理在局部层面描述了单个Martin-Löf $μ$-随机点与$ν$-随机点以及$μ,ν$间Hellinger距离的关系。

0
下载
关闭预览

相关内容

【干货书】优化与学习的随机梯度技术,238页pdf
专知会员服务
54+阅读 · 2021年11月22日
【哈佛经典书】概率论与随机过程及其应用,382页pdf
专知会员服务
64+阅读 · 2020年11月14日
【干货书】凸随机优化,320页pdf
专知
12+阅读 · 2022年9月16日
你的算法可靠吗? 神经网络不确定性度量
专知
40+阅读 · 2019年4月27日
从香农熵到手推KL散度:一文带你纵览机器学习中的信息论
算法与数学之美
10+阅读 · 2018年1月14日
绝对干货 | 随机梯度下降算法综述
菜鸟的机器学习
15+阅读 · 2017年10月30日
精品公开课 | 随机梯度下降算法综述
七月在线实验室
13+阅读 · 2017年7月11日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 2月17日
Arxiv
0+阅读 · 2月9日
VIP会员
最新内容
AutoScientists:自组织智能体团队驱动长期科学实验
战略前沿人工智能的再思考(中文)
专知会员服务
2+阅读 · 今天14:53
《量化地基防空系统间接效应的博弈论方法》
专知会员服务
2+阅读 · 今天14:51
“史诗怒火行动”中美军损失的作战飞机
专知会员服务
2+阅读 · 今天14:38
ICML 2026 | 理解上下文持续学习中的泛化与遗忘
专知会员服务
5+阅读 · 5月28日
Agent Harness综述:大模型智能体执行器工程全景
专知会员服务
13+阅读 · 5月28日
《基于理论的威慑效能评估》
专知会员服务
8+阅读 · 5月28日
相关VIP内容
【干货书】优化与学习的随机梯度技术,238页pdf
专知会员服务
54+阅读 · 2021年11月22日
【哈佛经典书】概率论与随机过程及其应用,382页pdf
专知会员服务
64+阅读 · 2020年11月14日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员