We introduce LAWS (Learning from Actual Workloads Symbolically), a self-certifying inference caching architecture that builds a growing library of certified expert functions from deployment observations. Each expert covers a region of input space defined by a node in the Probabilistic Language Trie (PLT) of the base model and carries a formal error bound holding uniformly over all inputs. The central result is a self-certification theorem: for any input x, the LAWS approximation error is bounded by epsilon_fit + 2*Lambda(W)*C_E, where Lambda(W) is the model Lipschitz constant, C_E is the maximum embedding diameter, and epsilon_fit is the expert training error -- all checkable at deployment time without ground truth. We prove that LAWS generalizes both Mixture-of-Experts and KV prefix caching as special cases and is strictly more expressive than any fixed-K MoE or finite cache. Further results include a monotone hit rate theorem (any-match routing ensures coverage only increases), an expert library growth rate of O(2^H log N) where H is workload entropy, a fleet learning convergence theorem with Omega(K) speedup for K-unit fleets, and an over-the-air update bandwidth bound. We conjecture that LAWS is acquisition-optimal among stationary online caching algorithms and that the effective Lipschitz constant on the training distribution grows polynomially rather than exponentially in depth. Applications are developed for LLM inference, robotic control, and multi-agent edge deployment.


翻译:我们提出LAWS(从实际工作负载中符号化学习),一种自验证推理缓存架构,它通过部署观测构建不断增长的经认证专家函数库。每个专家覆盖由基础模型概率语言词典树(PLT)中节点定义的输入空间区域,并携带对全体输入一致成立的正式误差界。核心结果是一条自验证定理:对于任意输入x,LAWS近似误差以epsilon_fit + 2*Lambda(W)*C_E为上界,其中Lambda(W)为模型Lipschitz常数,C_E为最大嵌入直径,epsilon_fit为专家训练误差——所有指标均可在无真实标签情况下的部署时直接验证。我们证明LAWS推广了混合专家模型(MoE)和KV前缀缓存作为特例,且其表达能力严格强于任意固定K的MoE或有限缓存。进一步结果包括:单调命中率定理(任意匹配路由确保覆盖范围单调增长)、专家库增长率O(2^H log N)(H为工作负载熵)、Omega(K)速度提升的K单元集群学习收敛定理,以及空中更新带宽界。我们猜想LAWS是固定规则在线缓存算法中获取最优的,且训练分布上的有效Lipschitz常数随深度呈多项式而非指数增长。该架构已发展出面向大语言模型推理、机器人控制及多智能体边缘部署的应用。

0
下载
关闭预览

相关内容

因果关联学习,Causal Relational Learning
专知会员服务
185+阅读 · 2020年4月21日
概述自动机器学习(AutoML)
人工智能学家
19+阅读 · 2019年8月11日
【学界】虚拟对抗训练:一种新颖的半监督学习正则化方法
GAN生成式对抗网络
10+阅读 · 2019年6月9日
【强化学习】强化学习+深度学习=人工智能
产业智能官
55+阅读 · 2017年8月11日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
43+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
14+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
国家自然科学基金
23+阅读 · 2009年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
6+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
7+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
4+阅读 · 6月17日
相关VIP内容
因果关联学习,Causal Relational Learning
专知会员服务
185+阅读 · 2020年4月21日
相关资讯
相关基金
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
43+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
14+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
国家自然科学基金
23+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员