While flow matching is elegant, its reliance on single-sample conditional velocities leads to high-variance training targets that destabilize optimization and slow convergence. By explicitly characterizing this variance, we identify 1) a high-variance regime near the prior, where optimization is challenging, and 2) a low-variance regime near the data distribution, where conditional and marginal velocities nearly coincide. Leveraging this insight, we propose Stable Velocity, a unified framework that improves both training and sampling. For training, we introduce Stable Velocity Matching (StableVM), an unbiased variance-reduction objective, along with Variance-Aware Representation Alignment (VA-REPA), which adaptively strengthen auxiliary supervision in the low-variance regime. For inference, we show that dynamics in the low-variance regime admit closed-form simplifications, enabling Stable Velocity Sampling (StableVS), a finetuning-free acceleration. Extensive experiments on ImageNet $256\times256$ and large pretrained text-to-image and text-to-video models, including SD3.5, Flux, Qwen-Image, and Wan2.2, demonstrate consistent improvements in training efficiency and more than $2\times$ faster sampling within the low-variance regime without degrading sample quality. Our code is available at https://github.com/linYDTHU/StableVelocity.


翻译:尽管流匹配方法设计优雅,但其对单样本条件速度的依赖导致了高方差的训练目标,从而破坏了优化过程的稳定性并减缓了收敛速度。通过明确刻画这种方差特性,我们识别出两个关键区域:1)在先验分布附近的高方差区域,该区域的优化极具挑战性;2)在数据分布附近的低方差区域,此处的条件速度与边际速度几乎重合。基于这一洞见,我们提出了“稳定速度”这一统一框架,以同时改进训练与采样过程。在训练方面,我们引入了稳定速度匹配(StableVM),这是一个无偏的方差缩减目标;同时提出了方差感知表示对齐(VA-REPA),它能够在低方差区域自适应地增强辅助监督。在推理方面,我们证明了低方差区域的动力学允许闭式简化,从而实现了稳定速度采样(StableVS),这是一种无需微调的加速方法。在ImageNet $256\times256$数据集以及包括SD3.5、Flux、Qwen-Image和Wan2.2在内的大型预训练文本到图像与文本到视频模型上进行的大量实验表明,该方法在训练效率上取得了持续提升,并在低方差区域内实现了超过$2\times$的采样加速,且未降低样本质量。我们的代码公开于 https://github.com/linYDTHU/StableVelocity。

0
下载
关闭预览

相关内容

多样化偏好优化
专知会员服务
12+阅读 · 2025年2月3日
【2023新书】光滑流形上的优化引论,368页pdf
专知会员服务
56+阅读 · 2023年8月7日
「PPT」深度学习中的不确定性估计
专知
27+阅读 · 2019年7月20日
深度学习应用在图像匹配的效果如何?
中国图象图形学报
10+阅读 · 2019年6月11日
你的算法可靠吗? 神经网络不确定性度量
专知
40+阅读 · 2019年4月27日
机器学习中如何处理不平衡数据?
机器之心
13+阅读 · 2019年2月17日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员