Flow Matching, a promising approach in generative modeling, has recently gained popularity. Relying on ordinary differential equations, it offers a simple and flexible alternative to diffusion models, which are currently the state-of-the-art. Despite its empirical success, the mathematical understanding of its statistical power so far is very limited. This is largely due to the sensitivity of theoretical bounds to the Lipschitz constant of the vector field which drives the ODE. In this work, we study the assumptions that lead to controlling this dependency. Based on these results, we derive a convergence rate for the Wasserstein $1$ distance between the estimated distribution and the target distribution which improves previous results in high dimensional setting. This rate applies to certain classes of unbounded distributions and particularly does not require $\log$-concavity.


翻译:流匹配作为生成建模中一种前景广阔的方法,近期受到广泛关注。该方法基于常微分方程,为当前最先进的扩散模型提供了一种简单而灵活的替代方案。尽管其经验成果显著,但对其统计能力的数学理解迄今仍非常有限。这主要源于理论边界对驱动常微分方程的向量场Lipschitz常数的敏感性。在本工作中,我们研究了能够控制这种依赖关系的假设条件。基于这些结果,我们推导了估计分布与目标分布之间Wasserstein $1$ 距离的收敛速率,该结果在高维场景下改进了先前的研究结论。该速率适用于特定类别的无界分布,尤其不要求分布满足$\log$-凹性条件。

0
下载
关闭预览

相关内容

流匹配在生物学与生命科学中的应用综述
专知会员服务
16+阅读 · 2025年7月25日
【Yoshua Bengio】生成式流网络,Generative Flow Networks
专知会员服务
32+阅读 · 2022年3月19日
专知会员服务
32+阅读 · 2021年2月17日
【AAAI2021】Graph Diffusion Network提升交通流量预测精度
专知会员服务
54+阅读 · 2021年1月21日
Normalizing Flows入门(上)
AINLP
10+阅读 · 2020年8月1日
【综述】交通流量预测,附15页论文下载
专知
23+阅读 · 2020年4月23日
重磅发布:基于 PyTorch 的深度文本匹配工具 MatchZoo-py
中国科学院网络数据重点实验室
16+阅读 · 2019年8月26日
深度学习应用在图像匹配的效果如何?
中国图象图形学报
10+阅读 · 2019年6月11日
推荐算法:Match与Rank模型的交织配合
从0到1
15+阅读 · 2017年12月18日
深度文本匹配开源工具(MatchZoo)
机器学习研究会
10+阅读 · 2017年12月5日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
Arxiv
0+阅读 · 3月1日
Arxiv
0+阅读 · 2月19日
Arxiv
0+阅读 · 2月4日
VIP会员
相关资讯
Normalizing Flows入门(上)
AINLP
10+阅读 · 2020年8月1日
【综述】交通流量预测,附15页论文下载
专知
23+阅读 · 2020年4月23日
重磅发布:基于 PyTorch 的深度文本匹配工具 MatchZoo-py
中国科学院网络数据重点实验室
16+阅读 · 2019年8月26日
深度学习应用在图像匹配的效果如何?
中国图象图形学报
10+阅读 · 2019年6月11日
推荐算法:Match与Rank模型的交织配合
从0到1
15+阅读 · 2017年12月18日
深度文本匹配开源工具(MatchZoo)
机器学习研究会
10+阅读 · 2017年12月5日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员