Score-based diffusion models typically use Brownian perturbations, which provide tractable reverse-time dynamics but impose memoryless noising. We introduce Volterra generative models, a continuous-time score-based framework whose forward process injects path-dependent noise through fractional kernels. To handle the non-Markovian and non-semimartingale dynamics, we construct finite-dimensional Markovian lifts using Gaussian quadrature in both regimes and a hybrid finite-difference exponential approximation in the smooth regime. We prove squared error bounds, derive an augmented linear-Gaussian forward process, and show that the learning can remain data-dimensional by considering residual states and analytic auxiliary Gaussian scores. We also identify covariance and reverse-time degeneracies caused by shared Brownian factors and signed smooth-regime weights. The degeneracy motivates stabilized conditioning and, for stiff larger lifts, a Gaussian-bridge reconstruction sampler. Experiments on MNIST and CIFAR-10 show that persistent fractional perturbations with small Markovian lifts can improve score-based generation on MNIST and provide a promising extension to natural images, while the bridge sampler provides a stability mechanism for larger lifts.


翻译:基于分数的扩散模型通常采用布朗扰动,这类扰动虽能提供可逆反向时间动力学,但引入的是无记忆噪声。我们提出Volterra生成模型——一种连续时间框架下的分数驱动模型,其正向过程通过分数阶核注入路径依赖型噪声。为处理非马尔可夫与非半鞅动力学,我们分别采用高斯求积方法(适用于两类场景)和平滑场景下的混合有限差指数近似技术,构建有限维马尔可夫提升。我们证明了平方误差边界,推导出增广线性高斯正向过程,并通过考虑残差状态与分析辅助高斯分数,表明学习过程可维持数据维度。此外,我们识别出共享布朗因子与符号平滑权重导致的协方差及反向时间退化现象。这种退化促使我们引入稳定化条件处理,并针对刚性较大提升设计高斯桥重建采样器。在MNIST和CIFAR-10上的实验表明:采用小规模马尔可夫提升的持久分数扰动能提升MNIST上的分数驱动生成质量,为自然图像提供有前景的扩展方案,同时桥采样器为大提升提供了稳定性机制。

0
下载
关闭预览

相关内容

用于语言生成的离散扩散模型
专知会员服务
12+阅读 · 2025年7月10日
生成式人工智能的扩散模型概述
专知会员服务
66+阅读 · 2024年12月8日
基于条件扩散模型的文本到图像合成, 32页ppt
专知会员服务
26+阅读 · 2022年11月21日
最新【深度生成模型】Deep Generative Models,104页ppt
专知会员服务
71+阅读 · 2020年10月24日
变分自编码器VAE:一步到位的聚类方案
PaperWeekly
25+阅读 · 2018年9月18日
在TensorFlow中对比两大生成模型:VAE与GAN
机器之心
12+阅读 · 2017年10月23日
VAE、GAN、Info-GAN:全解深度学习三大生成模型
数据派THU
20+阅读 · 2017年9月23日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 6月9日
Arxiv
0+阅读 · 5月10日
Arxiv
0+阅读 · 5月8日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
7+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
7+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
6+阅读 · 6月17日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员