Diffusion large language models promise parallel token generation, yet inference remains bottlenecked by deciding which masked tokens can be safely committed together. Fast-dLLM addressed this with KV caching and confidence-guided parallel decoding, but its decoding theory uses a homogeneous high-confidence assumption that effectively reduces each candidate set to its weakest selected token. We argue that this leaves speed on the table because real decoding steps exhibit heterogeneous confidence profiles. We propose \textbf{Fast-dLLM++}, a training-free extension that introduces \emph{Fréchet profile decoding}: selecting parallel commit sets from the full sorted confidence profile rather than a single worst-case confidence. The resulting rule is a heterogeneous-confidence generalization of Fast-dLLM's factor selector and it recovers the previous rule exactly in the equal-confidence case and adds a provable \emph{heterogeneity bonus} when the selected tokens have uneven confidences. Fast-dLLM++ leaves the model, diffusion process, and cache implementation entirely unchanged, making it a drop-in replacement for existing Fast-dLLM decoding. Experiments on GSM8K, MATH, HumanEval, and MBPP with the LLaDA-8B model show that the theoretical improvement translates directly into empirical gains: profile-aware selection improves the accuracy--throughput frontier by exploiting safe parallelism that weakest-token rules miss, achieving up to 37\% higher throughput at comparable accuracy. Our code release is at https://github.com/Ringo-Star/FastdLLM_plusplus.


翻译:扩散大语言模型虽然支持并行令牌生成,但其推理过程仍受限于如何安全地一次性确定可提交的掩码令牌集合。Fast-dLLM方法通过KV缓存和置信度引导的并行解码解决了这一问题,但其解码理论基于同质高置信度假设,实际上将每个候选集合简化为其中最弱的选定令牌。我们认为这种做法未能充分发挥加速潜力,因为实际解码步骤呈现异质置信度分布。为此提出**Fast-dLLM++**,一种无需训练扩展方法,引入*Fréchet轮廓解码*:从完整排序的置信度轮廓中选取并行提交集合,而非基于单一最差置信度。所得规则是Fast-dLLM因子选择器的异质置信度泛化形式,在等置信度情形下精确还原原规则,并在选定令牌置信度不均匀时引入可证明的*异质增益*。Fast-dLLM++完全保持模型、扩散过程和缓存实现不变,可作为现有Fast-dLLM解码的直接替代方案。基于LLaDA-8B模型在GSM8K、MATH、HumanEval和MBPP上的实验表明,理论改进直接转化为经验增益:通过利用最弱令牌规则无法捕捉的安全并行性,轮廓感知选择改进了精度-吞吐量帕累托前沿,在可比精度下实现最高37%的吞吐量提升。我们的代码已发布在https://github.com/Ringo-Star/FastdLLM_plusplus。

0
下载
关闭预览

相关内容

《大型语言模型加速生成技术》最新综述
专知会员服务
50+阅读 · 2024年5月25日
LLMCad:快速可扩展的设备上大型语言模型推理
专知会员服务
35+阅读 · 2023年9月11日
超全总结:神经网络加速之量化模型 | 附带代码
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Arxiv
0+阅读 · 6月12日
VIP会员
最新内容
俄乌无人机战争的六大启示
专知会员服务
4+阅读 · 今天7:07
《无人机空中监控:通信实验洞察》
专知会员服务
3+阅读 · 今天7:05
从采集到决策:美军视角下的战术情报范式重构
《履带式无人地面战车技术发展现状》
专知会员服务
6+阅读 · 8月2日
《无人机脆弱性利用:网络空间力量的新域》
专知会员服务
6+阅读 · 8月1日
美空军如何将人工智能从战场部署至后方机关
专知会员服务
13+阅读 · 7月31日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员