Diffusion large language models (dLLMs) have shown advantages in text generation, particularly due to their inherent ability for parallel decoding. However, constrained by the quality--speed trade-off, existing inference solutions adopt conservative parallel strategies, leaving substantial efficiency potential underexplored. A core challenge is that parallel decoding assumes each position can be filled independently, but tokens are often semantically coupled. Thus, the correct choice at one position constrains valid choices at others. Without modeling these inter-token dependencies, parallel strategies produce deteriorated outputs. Motivated by this insight, we propose DAWN, a training-free, dependency-aware decoding method for fast dLLM inference. DAWN extracts token dependencies and leverages two key motivations: (1) positions dependent on unmasked certain positions become more reliable, (2) simultaneously unmasking strongly coupled uncertain positions induces errors. Given those findings, DAWN leverages a dependency graph to select more reliable unmasking positions at each iteration, achieving high parallelism with negligible loss in generation quality. Extensive experiments across multiple models and datasets demonstrate that DAWN speedups the inference by 1.80-8.06x over baselines while preserving the generation quality. Code is released at https://github.com/lizhuo-luo/DAWN.


翻译:扩散大语言模型(dLLM)在文本生成任务中展现出显著优势,这主要得益于其固有的并行解码能力。然而,受限于生成质量与推理速度之间的权衡,现有推理方案普遍采用保守的并行策略,未能充分挖掘其效率潜力。其核心挑战在于:并行解码假设各位置可独立填充,但实际文本中词汇单元常存在语义耦合关系。因此,某一位置的正确选择会制约其他位置的有效选项。若忽略这种词汇单元间的依赖关系,并行策略将导致输出质量下降。基于此洞见,我们提出DAWN——一种无需额外训练、具备依赖感知能力的解码方法,旨在实现dLLM的高效推理。DAWN通过提取词汇单元依赖关系,并依据两个关键机制进行解码:(1)依赖于已确定位置的待预测位置其可靠性更高;(2)同时解耦强耦合的未确定位置易引发错误。基于这些发现,DAWN利用依赖关系图在每轮迭代中选择更可靠的解耦位置,在保证生成质量基本无损的前提下实现高度并行化。跨多模型与数据集的广泛实验表明,DAWN相比基线方法可实现1.80-8.06倍的推理加速,同时保持生成质量。代码已发布于https://github.com/lizhuo-luo/DAWN。

0
下载
关闭预览

相关内容

从感知到推理:深度思考赋能多模态大语言模型
专知会员服务
24+阅读 · 2025年11月19日
LLMCad:快速可扩展的设备上大型语言模型推理
专知会员服务
35+阅读 · 2023年9月11日
通过集成 XNNPACK 实现推理速度飞跃
TensorFlow
26+阅读 · 2020年7月30日
国家自然科学基金
4+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
Arxiv
0+阅读 · 2月12日
VIP会员
相关基金
国家自然科学基金
4+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员