Flow-matching models deliver state-of-the-art fidelity in image and video generation, but the inherent sequential denoising process renders them slower. Existing acceleration methods like distillation, trajectory truncation, and consistency approaches are static, require retraining, and often fail to generalize across tasks. We propose FastFlow, a plug-and-play adaptive inference framework that accelerates generation in flow matching models. FastFlow identifies denoising steps that produce only minor adjustments to the denoising path and approximates them without using the full neural network models used for velocity predictions. The approximation utilizes finite-difference velocity estimates from prior predictions to efficiently extrapolate future states, enabling faster advancements along the denoising path at zero compute cost. This enables skipping computation at intermediary steps. We model the decision of how many steps to safely skip before requiring a full model computation as a multi-armed bandit problem. The bandit learns the optimal skips to balance speed with performance. FastFlow integrates seamlessly with existing pipelines and generalizes across image generation, video generation, and editing tasks. Experiments demonstrate a speedup of over 2.6x while maintaining high-quality outputs. The source code for this work can be found at https://github.com/Div290/FastFlow.


翻译:流匹配模型在图像和视频生成方面实现了最先进的保真度,但其固有的顺序去噪过程导致生成速度较慢。现有的加速方法(如蒸馏、轨迹截断和一致性方法)是静态的,需要重新训练,且往往难以跨任务泛化。我们提出了FastFlow,一种即插即用的自适应推理框架,用于加速流匹配模型的生成过程。FastFlow能够识别那些仅对去噪路径产生微小调整的去噪步骤,并在无需使用完整神经网络模型进行速度预测的情况下近似这些步骤。该近似方法利用先前预测的有限差分速度估计来高效外推未来状态,从而以零计算成本实现沿去噪路径的快速推进,这使得跳过中间步骤的计算成为可能。我们将“在需要完整模型计算之前可以安全跳过多少步骤”的决策建模为一个多臂赌博机问题。该赌博机通过学习最优的跳过策略来平衡速度与性能。FastFlow能够无缝集成到现有流程中,并在图像生成、视频生成和编辑任务中展现出良好的泛化能力。实验表明,该方法在保持高质量输出的同时实现了超过2.6倍的加速。本工作的源代码可在 https://github.com/Div290/FastFlow 获取。

0
下载
关闭预览

相关内容

基于扩散模型和流模型的推理时引导生成技术
专知会员服务
16+阅读 · 2025年4月30日
《大型语言模型加速生成技术》最新综述
专知会员服务
50+阅读 · 2024年5月25日
【Yoshua Bengio】生成式流网络,Generative Flow Networks
专知会员服务
32+阅读 · 2022年3月19日
【Yoshua Bengio最新一作论文】GFlowNet基础,GFlowNet Foundations
专知会员服务
26+阅读 · 2021年11月22日
深度学习TensorFlow实现集合
专知
10+阅读 · 2018年9月8日
超全总结:神经网络加速之量化模型 | 附带代码
tensorflow系列笔记:流程,概念和代码解析
北京思腾合力科技有限公司
30+阅读 · 2017年11月11日
深度学习目标检测模型全面综述:Faster R-CNN、R-FCN和SSD
深度学习世界
10+阅读 · 2017年9月18日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关VIP内容
基于扩散模型和流模型的推理时引导生成技术
专知会员服务
16+阅读 · 2025年4月30日
《大型语言模型加速生成技术》最新综述
专知会员服务
50+阅读 · 2024年5月25日
【Yoshua Bengio】生成式流网络,Generative Flow Networks
专知会员服务
32+阅读 · 2022年3月19日
【Yoshua Bengio最新一作论文】GFlowNet基础,GFlowNet Foundations
专知会员服务
26+阅读 · 2021年11月22日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员