Flow matching has emerged as a simulation-free alternative to diffusion-based generative modeling, producing samples by solving an ODE whose time-dependent velocity field is learned along an interpolation between a simple source distribution (e.g., a standard normal) and a target data distribution. Flow-based methods often exhibit greater training stability and have achieved strong empirical performance in high-dimensional settings where data concentrate near a low-dimensional manifold, such as text-to-image synthesis, video generation, and molecular structure generation. Despite this success, existing theoretical analyses of flow matching assume target distributions with smooth, full-dimensional densities, leaving its effectiveness in manifold-supported settings largely unexplained. To this end, we theoretically analyze flow matching with linear interpolation when the target distribution is supported on a smooth manifold. We establish a non-asymptotic convergence guarantee for the learned velocity field, and then propagate this estimation error through the ODE to obtain statistical consistency of the implicit density estimator induced by the flow-matching objective. The resulting convergence rate is near minimax-optimal, depends only on the intrinsic dimension, and reflects the smoothness of both the manifold and the target distribution. Together, these results provide a principled explanation for how flow matching adapts to intrinsic data geometry and circumvents the curse of dimensionality.


翻译:流匹配已成为基于扩散的生成建模的一种无模拟替代方法,通过求解一个依赖于时间的常微分方程(ODE)生成样本,该方程的速度场是在简单源分布(例如标准正态分布)与目标数据分布之间的插值过程中学习的。基于流的方法通常表现出更好的训练稳定性,并在数据集中于低维流形的高维场景中取得了强劲的实证表现,例如文本到图像合成、视频生成和分子结构生成。尽管取得了这些成功,现有关于流匹配的理论分析通常假设目标分布具有光滑的全维密度,未能解释其在流形支持设定下的有效性。为此,我们在线性插值下对目标分布支持在光滑流形上的流匹配进行了理论分析。我们为学习到的速度场建立了非渐近收敛保证,然后通过ODE传播该估计误差,以得到由流匹配目标诱导的隐式密度估计量的统计一致性。所得收敛率接近极小化最优,仅取决于内在维度,并反映了流形和目标分布的光滑程度。综合来看,这些结果为流匹配如何适应数据内在几何结构并规避维度灾难提供了原理性解释。

0
下载
关闭预览

相关内容

【NTU博士论文】基础模型的高效适配
专知会员服务
15+阅读 · 3月24日
流匹配在生物学与生命科学中的应用综述
专知会员服务
16+阅读 · 2025年7月25日
基于深度学习的图像匹配:方法、应用与挑战
专知会员服务
24+阅读 · 2024年7月19日
【CVPR2024】扩散模型的结构指导对抗训练
专知会员服务
27+阅读 · 2024年2月28日
高级地图匹配算法:研究现状和趋势
专知会员服务
18+阅读 · 2021年10月28日
专知会员服务
32+阅读 · 2021年2月17日
Normalizing Flows入门(上)
AINLP
10+阅读 · 2020年8月1日
【资源】领域自适应相关论文、代码分享
专知
32+阅读 · 2019年10月12日
重磅发布:基于 PyTorch 的深度文本匹配工具 MatchZoo-py
中国科学院网络数据重点实验室
16+阅读 · 2019年8月26日
深度学习应用在图像匹配的效果如何?
中国图象图形学报
10+阅读 · 2019年6月11日
立体匹配技术简介
计算机视觉life
28+阅读 · 2019年4月22日
推荐算法:Match与Rank模型的交织配合
从0到1
15+阅读 · 2017年12月18日
深度文本匹配开源工具(MatchZoo)
机器学习研究会
10+阅读 · 2017年12月5日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Arxiv
0+阅读 · 5月1日
Arxiv
0+阅读 · 3月1日
VIP会员
相关主题
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
7+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
8+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
6+阅读 · 6月17日
相关VIP内容
【NTU博士论文】基础模型的高效适配
专知会员服务
15+阅读 · 3月24日
流匹配在生物学与生命科学中的应用综述
专知会员服务
16+阅读 · 2025年7月25日
基于深度学习的图像匹配:方法、应用与挑战
专知会员服务
24+阅读 · 2024年7月19日
【CVPR2024】扩散模型的结构指导对抗训练
专知会员服务
27+阅读 · 2024年2月28日
高级地图匹配算法:研究现状和趋势
专知会员服务
18+阅读 · 2021年10月28日
专知会员服务
32+阅读 · 2021年2月17日
相关资讯
Normalizing Flows入门(上)
AINLP
10+阅读 · 2020年8月1日
【资源】领域自适应相关论文、代码分享
专知
32+阅读 · 2019年10月12日
重磅发布:基于 PyTorch 的深度文本匹配工具 MatchZoo-py
中国科学院网络数据重点实验室
16+阅读 · 2019年8月26日
深度学习应用在图像匹配的效果如何?
中国图象图形学报
10+阅读 · 2019年6月11日
立体匹配技术简介
计算机视觉life
28+阅读 · 2019年4月22日
推荐算法:Match与Rank模型的交织配合
从0到1
15+阅读 · 2017年12月18日
深度文本匹配开源工具(MatchZoo)
机器学习研究会
10+阅读 · 2017年12月5日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员