Solomonoff induction is a general solution for sequence prediction that started the field of algorithmic information theory around 1960. Let $M$ be the universal semimeasure. After observing a string $ω_1 \cdots ω_{n-1}$, it predicts the next bit $ω_n$ to be $b$ with conditional probability proportional to $M(ω_1 \cdots ω_{n-1} b)$. Thus the error of this probability is \[ e_ω(n) = 1 - \frac {M(ω_1 \cdots ω_{n-1}ω_n)} {M(ω_1 \cdots ω_{n-1} 0) + M(ω_{1} \cdots ω_{n-1} 1)}. \] If $ω$ a computable infinite sequence with a self-delimiting description of at most $k$ bits, then $\sum_n e_ω(n) \le k\ln 2+O(1)$. Lattimore, Hutter and Gavane consider the problem of predicting computable patterns in a sequence, for example, the pattern of repeated bits $ω= 00\,11\,00\,00\,11\,00\cdots$ They show that the error probabilities of the bits fixed by a computable pattern have limit zero, for example, for repeated bits, one has $\lim_n e_ω(2n) = 0$. We show that for some computable pattern, the sum of $e_ω(n)$ over positions $n$ from the pattern is not bounded. However, the sum of squares $(e_ω(n))^2$ is bounded exponentially in the program length of the pattern. It is also shown that bits of $ω$ that are fixed by a computable classification function $f:\{0,1\}^* \rightarrow \{0,1\}$, converges faster: the sum of $(e_ω(n))^2$ is bounded by a polynomial in the program length for programs whose runtime is bounded by any fixed computable time bound.


翻译:暂无翻译

0
下载
关闭预览

相关内容

IEEE Proc.|基于知识图谱的少样本和零样本学习综述
专知会员服务
49+阅读 · 2024年2月2日
《基于知识图谱的有限交互决策过程框架》17页论文
专知会员服务
67+阅读 · 2023年3月5日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
论文笔记之Feature Selective Networks for Object Detection
统计学习与视觉计算组
21+阅读 · 2018年7月26日
论文浅尝 | 利用 RNN 和 CNN 构建基于 FreeBase 的问答系统
开放知识图谱
11+阅读 · 2018年4月25日
读书报告 | Deep Learning for Extreme Multi-label Text Classification
科技创新与创业
48+阅读 · 2018年1月10日
论文浅尝 | Question Answering over Freebase
开放知识图谱
19+阅读 · 2018年1月9日
国家自然科学基金
3+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 9月14日
Interpretable CNNs for Object Classification
Arxiv
20+阅读 · 2020年3月12日
VIP会员
最新内容
俄罗斯如何拦截乌克兰无人机与巡航导弹
专知会员服务
8+阅读 · 10月15日
《武器-目标分配问题:精确与近似求解算法》
专知会员服务
11+阅读 · 10月15日
综述|谁来改进机器人?迈向物理递归自我改进
专知会员服务
10+阅读 · 10月14日
软件定义无人机蜂群给防空带来全新压力
专知会员服务
10+阅读 · 10月13日
《半自主无人地面战车的互操作性》66页
专知会员服务
14+阅读 · 10月13日
相关VIP内容
IEEE Proc.|基于知识图谱的少样本和零样本学习综述
专知会员服务
49+阅读 · 2024年2月2日
《基于知识图谱的有限交互决策过程框架》17页论文
专知会员服务
67+阅读 · 2023年3月5日
相关资讯
相关基金
国家自然科学基金
3+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员