We survey continuous-time generative modeling methods based on transporting a simple reference distribution to a data distribution via stochastic or deterministic dynamics. We present a unified framework in which diffusion models, score-based generative models, and flow matching are instances of learning a time-dependent vector field that induces a family of marginals $(ρ_t)_{t \in [0,1]}$ governed by continuity and Fokker-Planck equations. Such a unified theory is timely because these methods are converging methodologically, yet fragmented notation and competing derivations continue to obscure their shared structure and the practical tradeoffs governing sampling, stability, and computation. Within this framework, we (i) derive reverse-time sampling for diffusion and score-based models as controlled stochastic dynamics, (ii) show that the probability flow ODE yields identical marginals and connects diffusion to likelihood-based normalizing flows, and (iii) interpret flow matching as direct regression of the velocity field under a chosen interpolation, clarifying when it coincides with or differs from score-based training. We compare objectives, sampling schemes, and discretization errors under unified notation, discuss connections to Schrodinger bridges and entropic optimal transport, and summarize theoretical guarantees and open problems on approximation, stability, and scalability.


翻译:我们综述了基于随机或确定性动力学将简单参考分布输送到数据分布的连续时间生成建模方法。我们提出一个统一框架,其中扩散模型、基于得分的生成模型和流匹配均可视为学习一个依赖于时间的向量场,该向量场诱导一族由连续性方程和福克-普朗克方程控制的边际分布$(ρ_t)_{t \in [0,1]}$。这一统一理论恰逢其时,因为这些方法在方法论上趋于收敛,但分散的符号体系和相互竞争的推导方式仍掩盖了其共同结构以及控制采样、稳定性和计算的实践权衡。在此框架内,我们(i)将扩散模型和基于得分模型的反向时间采样推导为受控随机动力学,(ii)表明概率流常微分方程可产生相同的边际分布,并将扩散模型与基于似然的归一化流联系起来,(iii)将流匹配解释为在所选插值下对速度场的直接回归,阐明其何时与基于得分的训练一致或不同。我们在统一符号体系下比较目标函数、采样方案和离散误差,讨论与薛定谔桥和熵最优输运的联系,并总结关于逼近性、稳定性和可扩展性的理论保证与开放问题。

0
下载
关闭预览

相关内容

ACM/IEEE第23届模型驱动工程语言和系统国际会议,是模型驱动软件和系统工程的首要会议系列,由ACM-SIGSOFT和IEEE-TCSE支持组织。自1998年以来,模型涵盖了建模的各个方面,从语言和方法到工具和应用程序。模特的参加者来自不同的背景,包括研究人员、学者、工程师和工业专业人士。MODELS 2019是一个论坛,参与者可以围绕建模和模型驱动的软件和系统交流前沿研究成果和创新实践经验。今年的版本将为建模社区提供进一步推进建模基础的机会,并在网络物理系统、嵌入式系统、社会技术系统、云计算、大数据、机器学习、安全、开源等新兴领域提出建模的创新应用以及可持续性。 官网链接:http://www.modelsconference.org/
用于语言生成的离散扩散模型
专知会员服务
12+阅读 · 2025年7月10日
扩散模型量化综述
专知会员服务
18+阅读 · 2025年5月11日
视频扩散模型综述:基础、实现与应用
专知会员服务
14+阅读 · 2025年4月24日
多模态可控扩散模型综述
专知会员服务
39+阅读 · 2024年7月20日
视觉的有效扩散模型综述
专知会员服务
97+阅读 · 2022年10月20日
从信息瓶颈理论一瞥机器学习的“大一统理论”
从Seq2seq到Attention模型到Self Attention(一)
量化投资与机器学习
76+阅读 · 2018年10月8日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
最新内容
非对称防御中的自组织临界性:俄乌战争
专知会员服务
6+阅读 · 8月10日
《战争中的大语言模型监管》
专知会员服务
5+阅读 · 8月10日
《边缘计算关键技术分析及美军作战实践应用》
边缘计算的军事应用
专知会员服务
9+阅读 · 8月9日
一种考虑资源机动性的武器目标分配混合算法
专知会员服务
11+阅读 · 8月8日
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员