Recent generative and tool-using AI systems can surface a large volume of candidates at low marginal cost, yet only a small fraction can be checked carefully. This creates a decoder-side bottleneck: downstream decision-makers must form reliable posteriors from many public records under scarce attention. We formalize this regime via Attention-Constrained Inference (ACI), in which a cheap screening stage processes $K$ records and an expensive verification stage can follow up on at most $B$ of them. Under Bayes log-loss, we study the maximum achievable reduction in posterior uncertainty per window, which we call \emph{epistemic throughput}. Our main result is a ``JaKoB'' scaling law showing that epistemic throughput has a baseline term that grows linearly with verification and prevalence, and an additional \emph{information-leverage} term that scales as $\sqrt{JKB}$, where $J$ summarizes screening quality. Thus, expanding cheap screening can nonlinearly amplify scarce verification, even when informative records are rare. We further show that this scaling is tight in a weak-screening limit, and that in the sparse-verification regime ($B \ll K$), substantial leverage requires heavy-tailed score distributions; for light-tailed scores the amplification is only logarithmic.


翻译:近年来,生成式与工具调用式人工智能系统能够以极低的边际成本生成大量候选结果,但其中仅有少量能被仔细核查。这造成了解码侧瓶颈:下游决策者必须在注意力稀缺的条件下,从大量公开记录中形成可靠的后验概率。我们通过注意力约束推断(ACI)形式化这一机制:在廉价的筛选阶段处理 $K$ 条记录,而昂贵的验证阶段最多能跟进其中的 $B$ 条。基于贝叶斯对数损失,我们研究了每个时间窗口内可实现的**后验不确定性最大减少量**,并将其定义为**认知吞吐率**。我们的主要结论呈现为“JaKoB”标度律:认知吞吐率包含一个随验证规模与事件发生率线性增长的基线项,以及一个额外的**信息杠杆项**,该项按 $\sqrt{JKB}$ 标度变化,其中 $J$ 表征筛选质量。因此,即使有效信息记录稀少,扩展廉价筛选仍能以非线性方式放大稀缺验证资源的效果。我们进一步证明该标度在弱筛选极限下是紧的,且在稀疏验证机制($B \ll K$)中,显著的杠杆效应要求得分分布具有重尾特征;对于轻尾得分分布,其放大效应仅为对数级。

0
下载
关闭预览

相关内容

「可解释知识图谱推理」最新方法综述
专知会员服务
89+阅读 · 2022年12月17日
卷积神经网络中的注意力机制综述
专知会员服务
77+阅读 · 2021年10月22日
最新「注意力机制」大综述论文,66页pdf569篇文献
专知会员服务
210+阅读 · 2021年4月2日
注意力机制综述
专知会员服务
83+阅读 · 2021年1月26日
【机器推理可解释性】Machine Reasoning Explainability
专知会员服务
35+阅读 · 2020年9月3日
可解释强化学习,Explainable Reinforcement Learning: A Survey
专知会员服务
132+阅读 · 2020年5月14日
注意力机制介绍,Attention Mechanism
专知会员服务
172+阅读 · 2019年10月13日
注意力机制综述(中文版)
专知
23+阅读 · 2021年1月26日
【干货】注意力机制(Attention)最新综述论文及相关源码
GAN生成式对抗网络
11+阅读 · 2018年11月16日
深度学习中的注意力机制
人工智能头条
16+阅读 · 2017年11月2日
国家自然科学基金
0+阅读 · 2016年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
25+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
VIP会员
相关VIP内容
「可解释知识图谱推理」最新方法综述
专知会员服务
89+阅读 · 2022年12月17日
卷积神经网络中的注意力机制综述
专知会员服务
77+阅读 · 2021年10月22日
最新「注意力机制」大综述论文,66页pdf569篇文献
专知会员服务
210+阅读 · 2021年4月2日
注意力机制综述
专知会员服务
83+阅读 · 2021年1月26日
【机器推理可解释性】Machine Reasoning Explainability
专知会员服务
35+阅读 · 2020年9月3日
可解释强化学习,Explainable Reinforcement Learning: A Survey
专知会员服务
132+阅读 · 2020年5月14日
注意力机制介绍,Attention Mechanism
专知会员服务
172+阅读 · 2019年10月13日
相关基金
国家自然科学基金
0+阅读 · 2016年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
25+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员