High-dimensional generative modeling is fundamentally a manifold-learning problem: real data concentrate near a low-dimensional structure embedded in the ambient space. Effective generators must therefore balance support fidelity -- placing probability mass near the data manifold -- with sampling efficiency. Diffusion models often capture near-manifold structure but require many iterative denoising steps and can leak off-support; normalizing flows sample in one pass but are limited by invertibility and dimension preservation. We propose MAGT (Manifold-Aligned Generative Transport), a flow-like generator that learns a one-shot, manifold-aligned transport from a low-dimensional base distribution to the data space. Training is performed at a fixed Gaussian smoothing level, where the score is well-defined and numerically stable. We approximate this fixed-level score using a finite set of latent anchor points with self-normalized importance sampling, yielding a tractable objective. MAGT samples in a single forward pass, concentrates probability near the learned support, and induces an intrinsic density with respect to the manifold volume measure, enabling principled likelihood evaluation for generated samples. We establish finite-sample Wasserstein bounds linking smoothing level and score-approximation accuracy to generative fidelity, and empirically improve fidelity and manifold concentration across synthetic and benchmark datasets while sampling substantially faster than diffusion models.


翻译:高维生成建模本质上是一个流形学习问题:真实数据集中在嵌入环境空间的低维结构附近。因此,有效的生成器必须在支撑保真度(将概率质量置于数据流形附近)与采样效率之间取得平衡。扩散模型通常能捕捉近流形结构,但需要多次迭代去噪步骤且可能产生离支撑泄漏;归一化流可单次采样,但受限于可逆性与维度保持。我们提出MAGT(流形对齐生成传输),这是一种类流生成器,它学习从低维基分布到数据空间的单次、流形对齐传输。训练在固定的高斯平滑水平下进行,此时得分函数定义良好且数值稳定。我们通过使用带自归一化重要性采样的有限潜在锚点集来近似该固定水平得分,从而得到可处理的优化目标。MAGT通过单次前向传播进行采样,将概率集中在学习到的支撑附近,并诱导出关于流形体积测度的本征密度,从而实现对生成样本的严格似然评估。我们建立了有限样本Wasserstein界,将平滑水平与得分近似精度同生成保真度联系起来,并在合成与基准数据集上实证提升了保真度与流形集中性,同时采样速度显著快于扩散模型。

0
下载
关闭预览

相关内容

用于语言生成的离散扩散模型
专知会员服务
12+阅读 · 2025年7月10日
【LoG 2024教程】几何生成模型教程
专知会员服务
32+阅读 · 2024年11月28日
斯坦福CS236-深度生成模型2019-全套课程资料分享
深度学习与NLP
20+阅读 · 2019年8月20日
最新《生成式对抗网络GAN进展》论文
专知
95+阅读 · 2019年4月5日
视频生成的前沿论文,看我们推荐的7篇就够了
人工智能前沿讲习班
34+阅读 · 2018年12月30日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
16+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 3月1日
Arxiv
0+阅读 · 2月20日
Arxiv
0+阅读 · 2月11日
Arxiv
0+阅读 · 2月6日
Arxiv
0+阅读 · 2月4日
Arxiv
0+阅读 · 2月4日
VIP会员
最新内容
最新“指挥控制”领域出版物合集(简介)
专知会员服务
1+阅读 · 今天15:19
面向军事作战需求开发的人工智能(RAIMOND)
专知会员服务
3+阅读 · 今天15:13
软件定义多域战术网络:基础与未来方向(综述)
水下战战术决策中的气象与海洋预报(50页报告)
远程空中优势:新一代超视距导弹的兴起
专知会员服务
1+阅读 · 今天14:45
大语言模型溯因推理的统一分类学与综述
专知会员服务
0+阅读 · 今天12:07
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
16+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员