Speculative decoding accelerates autoregressive language models by using a lightweight drafter to propose multiple future tokens, which the target model then verifies in parallel. DFlash shows that a block diffusion drafter can generate an entire draft block in a single forward pass and achieve state-of-the-art speculative decoding performance, outperforming strong autoregressive drafters such as EAGLE-3. Vanilla DFlash, however, still verifies only a single drafted trajectory per round, potentially limiting its acceptance length. We introduce DDTree (Diffusion Draft Tree), a method that constructs a draft tree directly from the per-position distributions of a block diffusion drafter. Under a fixed node budget, DDTree uses a simple best-first heap algorithm to select the continuations that are most likely to match the target model according to a surrogate defined by the draft model's output. The resulting tree is verified efficiently in a single target model forward pass using an ancestor-only attention mask. Because DDTree builds on DFlash, a leading draft model for speculative decoding, these gains place DDTree among the leading approaches to speculative decoding.


翻译:推测解码通过使用轻量级草稿模型生成多个未来标记,再由目标模型并行验证这些标记,从而加速自回归语言模型。DFlash证明,块扩散草稿模型能够在单次前向传播中生成整个草稿块,并实现最先进的推测解码性能,优于EAGLE-3等强自回归草稿模型。然而,标准DFlash每轮仍仅验证单一草稿轨迹,这限制了其接受长度。我们提出DDTree(扩散草稿树),该方法直接从块扩散草稿模型的逐位置分布构建草稿树。在固定节点预算下,DDTree使用简单的最佳优先堆算法,根据草稿模型输出的替代度量选择最可能匹配目标模型的延续路径。所得树通过仅使用祖先注意力掩码的单次目标模型前向传播高效验证。由于DDTree基于领先的推测解码草稿模型DFlash构建,这些优势使DDTree跻身推测解码的前沿方法之列。

0
下载
关闭预览

相关内容

《大型语言模型加速生成技术》最新综述
专知会员服务
50+阅读 · 2024年5月25日
《分布式多智能体强化学习的编码》加州大学等
专知会员服务
58+阅读 · 2022年11月2日
可解释AI(XAI)工具集—DrWhy
专知
25+阅读 · 2019年6月4日
读扩散?写扩散?推拉架构一文搞定!
架构师之路
17+阅读 · 2019年2月1日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
反制无人机:乌克兰提供的五点启示
专知会员服务
4+阅读 · 9月23日
《各指挥层级均亟需红队能力》报告
专知会员服务
5+阅读 · 9月23日
《航电任务系统框架(FAMOS)》50页报告
专知会员服务
4+阅读 · 9月22日
《对抗行动中的人工智能与自主性》智库报告
专知会员服务
7+阅读 · 9月22日
《从数据到胜利:战争中的分析优势之争》
专知会员服务
9+阅读 · 9月22日
战争不仅需要机器人:人类仍不可或缺
专知会员服务
5+阅读 · 9月21日
《描绘美国防部创新基础设施的未来蓝图》100页
专知会员服务
10+阅读 · 9月21日
相关VIP内容
《大型语言模型加速生成技术》最新综述
专知会员服务
50+阅读 · 2024年5月25日
《分布式多智能体强化学习的编码》加州大学等
专知会员服务
58+阅读 · 2022年11月2日
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员