We break the mold in flow-based generative modeling by proposing a new model based on the damped wave equation, also known as telegrapher's equation. Similar to the diffusion equation and Brownian motion, there is a Feynman-Kac type relation between the telegrapher's equation and the stochastic Kac process in 1D. The Kac flow evolves stepwise linearly in time, so that the probability flow is Lipschitz continuous in the Wasserstein distance and, in contrast to diffusion flows, the norm of the velocity is globally bounded. Furthermore, the Kac model has the diffusion model as its asymptotic limit. We extend these considerations to a multi-dimensional stochastic process which consists of independent 1D Kac processes in each spatial component. We show that this process gives rise to an absolutely continuous curve in the Wasserstein space and compute the conditional velocity field starting in a Dirac point analytically. Using the framework of flow matching, we train a neural network that approximates the velocity field and use it for sample generation. Our numerical experiments demonstrate the scalability of our approach, and show its advantages over diffusion models.


翻译:我们通过提出一种基于阻尼波动方程(亦称电报方程)的新模型,打破了基于流的生成建模的固有范式。与扩散方程和布朗运动类似,在一维情况下,电报方程与随机Kac过程之间存在一种费曼-卡茨型关系。Kac流在时间上分段线性演化,使得概率流在Wasserstein距离下是Lipschitz连续的,并且与扩散流不同,其速度范数是全局有界的。此外,Kac模型以扩散模型为其渐近极限。我们将这些考量推广到一个多维随机过程,该过程由每个空间分量上独立的1D Kac过程组成。我们证明了该过程在Wasserstein空间中产生一条绝对连续曲线,并解析地计算了从狄拉克点出发的条件速度场。利用流匹配框架,我们训练了一个近似速度场的神经网络,并将其用于样本生成。我们的数值实验证明了该方法的可扩展性,并展示了其相对于扩散模型的优势。

0
下载
关闭预览

相关内容

在机器学习中,生成模型可以用来直接对数据建模(例如根据某个变量的概率密度函数进行数据采样),也可以用来建立变量间的条件概率分布。条件概率分布可以由生成模型根据贝叶斯定理形成。
用于语言生成的离散扩散模型
专知会员服务
11+阅读 · 2025年7月10日
基于扩散模型和流模型的推理时引导生成技术
专知会员服务
16+阅读 · 2025年4月30日
生成式人工智能的扩散模型概述
专知会员服务
66+阅读 · 2024年12月8日
【港科大博士论文】生成模型的统计和结构特性,338页pdf
专知会员服务
47+阅读 · 2022年12月20日
在TensorFlow中对比两大生成模型:VAE与GAN
机器之心
12+阅读 · 2017年10月23日
VAE、GAN、Info-GAN:全解深度学习三大生成模型
数据派THU
20+阅读 · 2017年9月23日
EKF常用于目标跟踪系统的扩展卡尔曼滤波器
无人机
10+阅读 · 2017年7月25日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 2月6日
Arxiv
0+阅读 · 2月4日
Arxiv
0+阅读 · 2月4日
Arxiv
0+阅读 · 1月24日
Arxiv
0+阅读 · 1月15日
VIP会员
相关论文
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员