Speculative verification changes the execution geometry of a quantized target model and can change its greedy output. We present phase-scoped query-to-batch (QB) attention, a graph transformation that pairs query and mask views, shares key/value storage, and retains batched projections and feed-forward computation. Phase-aware dispatch and layout-sensitive graph reuse bind the transformation to the native speculative transaction. In a six-session CUDA study, QB reduces request latency relative to explicit per-query attention (PQ) by 3.06%, 6.17% and 2.83% for Qwen3, SmolLM2 and Llama; a 72-context replay finds bitwise correspondence at QK, softmax and AV. A matched seven-arm study shows that local rather than global repair changes draft profitability for two families. A prospective transfer study then tests 36 model/input cells drawn from 21 previously unused tasks. SmolLM2 preserves the reference on its complete panel and obtains a 6.99% layout reduction; Qwen3's 3.22% estimate is noise-limited. On a 737-token Llama input, PQ and QB agree with each other but differ from the deployed reference, separating local numerical correspondence from end-to-end preservation. Vulkan state interventions and a scoped AV-preserving port identify producer-state and backend obligations. Complete-service studies further distinguish representation savings from the net value of drafting. The results establish a local execution method with measured cost benefits and distinguish its numerical, stateful and complete-cost conditions for deployment.


翻译:暂无翻译

0
下载
关闭预览

相关内容

深度学习中Attention Mechanism详细介绍:原理、分类及应用
深度学习与NLP
10+阅读 · 2019年2月18日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
用 LDA 和 LSA 两种方法来降维和做 Topic 建模
AI研习社
13+阅读 · 2018年8月24日
原创 | Attention Modeling for Targeted Sentiment
黑龙江大学自然语言处理实验室
25+阅读 · 2017年11月5日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
最新内容
《美空军2026条令文件:对海压制作战》
专知会员服务
23+阅读 · 11月9日
人工智能与战争的未来
专知会员服务
10+阅读 · 11月8日
《Agent Mosaic:识别智能体LLM系统中的机密泄露》
专知会员服务
10+阅读 · 11月8日
人工智能在军事教育中的应用:若干视角与经验
专知会员服务
11+阅读 · 11月6日
“星链”减速与不断适应的乌克兰
专知会员服务
9+阅读 · 11月6日
美国中期选举之后:帕兰提尔面临不确定性?
专知会员服务
6+阅读 · 11月6日
相关VIP内容
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员