Multi-head finite-state dimensions and predimensions quantify the predictability of a sequence by a gambler with trailing heads acting as "probes to the past." These additional heads allow the gambler to exploit patterns that are simple but non-local, such as in a sequence $S$ with $S[n]=S[2n]$ for all $n$. In the original definitions of Huang, Li, Lutz, and Lutz (2025), the head movements were required to be oblivious (i.e., data-independent). Here, we introduce a model in which head movements are adaptive (i.e., data-dependent) and compare it to the oblivious model. We establish that for each $h\geq 2$, adaptivity enhances the predictive power of $h$-head finite-state gamblers, in the sense that there are sequences whose oblivious $h$-head finite-state predimensions strictly exceed their adaptive $h$-head finite-state predimensions. We further prove that adaptive finite-state predimensions admit a strict hierarchy as the number of heads increases, and in fact that for all $h\geq 1$ there is a sequence whose adaptive $(h+1)$-head finite-state predimension is strictly less than its adaptive $h$-head predimension.


翻译:多头有限状态维数与预维数通过具有追踪头(作为“对过去的探测”)的赌徒来量化序列的可预测性。这些额外的头使赌徒能够利用简单但非局部的模式,例如在所有$n$上满足$S[n]=S[2n]$的序列$S$。在Huang、Li、Lutz和Lutz(2025)的原始定义中,头的移动被要求是遗忘的(即数据无关的)。本文引入了一种头移动为自适应(即数据相关)的模型,并将其与遗忘模型进行比较。我们证明,对于每个$h\geq 2$,自适应性增强了$h$头有限状态赌徒的预测能力,即存在一些序列,其遗忘$h$头有限状态预维数严格大于其自适应$h$头有限状态预维数。我们进一步证明,自适应有限状态预维数随着头数量的增加呈现严格层级关系,并且事实上对于所有$h\geq 1$,存在一个序列,其自适应$(h+1)$头有限状态预维数严格小于其自适应$h$头预维数。

0
下载
关闭预览

相关内容

TransMLA:多头潜在注意力(MLA)即为所需
专知会员服务
23+阅读 · 2025年2月13日
【ICML2024】通过动态可组合多头注意力改进Transformers
专知会员服务
21+阅读 · 2024年5月17日
一文带你了解MultiBERT
深度学习自然语言处理
16+阅读 · 2020年6月28日
兴军亮Science评述:多人德州扑克博弈新突破
中国科学院自动化研究所
19+阅读 · 2019年7月15日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 2月19日
Arxiv
0+阅读 · 2月11日
Arxiv
0+阅读 · 2月7日
VIP会员
最新内容
最新“指挥控制”领域出版物合集(16份)
专知会员服务
7+阅读 · 4月12日
面向军事作战需求开发的人工智能(RAIMOND)
专知会员服务
15+阅读 · 4月12日
远程空中优势:新一代超视距导弹的兴起
专知会员服务
2+阅读 · 4月12日
大语言模型溯因推理的统一分类学与综述
专知会员服务
3+阅读 · 4月12日
相关VIP内容
TransMLA:多头潜在注意力(MLA)即为所需
专知会员服务
23+阅读 · 2025年2月13日
【ICML2024】通过动态可组合多头注意力改进Transformers
专知会员服务
21+阅读 · 2024年5月17日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员