ICML 2026教程：扩散与Flow Matching，从记忆到泛化

导读

这个 ICML 2026 Tutorial 聚焦一个生成模型研究中的核心问题：扩散模型与 Flow Matching 为什么没有只记住训练集，而是能够生成看起来“新”的样本？

教程题为 Diffusion and Flow-Matching: From Memorization to Generalization & Beyond，由 Quentin Bertrand 与 Mathurin Massias 主讲。它并不是一门普通的扩散模型入门课，而是围绕“记忆、泛化、创造性”这条主线，重新审视扩散与 Flow Matching 的理论基础、闭式解、模型结构归纳偏置、优化动态以及开放问题。 最有意思的是，教程从一个看似反直觉的结论出发：在理想化、非正则化条件下，扩散或 Flow Matching 的闭式最优解可能只会复现训练样本。可现实中的模型却能生成新图像、新音频、新视频，甚至新蛋白结构。那么，这种泛化能力到底来自哪里？是网络架构的归纳偏置？是优化过程中的动态正则化？是推理随机性或数值误差？还是数据统计结构本身带来的约束？

教程信息

教程名称：Diffusion and Flow-Matching: From Memorization to Generalization & Beyond 会议：ICML 2026 Tutorial 讲者：Quentin Bertrand、Mathurin Massias 主题：扩散模型、Flow Matching、记忆、泛化、创造性、开放问题 主页：https://memorization-generalization.github.io/ 完整 slides：https://memorization-generalization.github.io/all.pdf

为什么这个教程值得关注

扩散模型和 Flow Matching 已经成为生成建模的主流技术之一，在图像、音频、视频、蛋白结构等领域都有强表现。扩散模型在 2015 年被提出、2020 年后迅速发展；Flow Matching 则在 2023 年后成为重要方向。它们训练流程相对简单，效果却非常强。 但强性能背后仍有很多理论谜题：模型是否在记忆训练数据？为什么训练在不同数据集上的模型会生成相似图像？生成图像是否只是训练图像 patch 的重组？如果理想最优解只会生成训练样本，真实模型为什么会产生新样本？ 教程把这些问题串成一条主线：从闭式最优解看，非正则化生成模型天然有记忆倾向；从真实神经网络看，架构、优化、局部性和等变性等因素又让模型具备泛化与创造能力。

Part I：Flow Matching与Diffusion基础

第一部分是教程的基础层，目标是解释 Flow Matching 和 Diffusion 为什么强、训练目标是什么，以及为什么“理想模型会记忆训练数据”这个问题并不荒谬。 扩散模型通常从数据分布出发，通过前向噪声过程逐步破坏数据，再训练反向过程从噪声恢复数据。Flow Matching 则以连续流的方式学习从简单分布到数据分布的传输路径。二者形式不同，但都可以被理解为学习一个随时间变化的 score 或 velocity field。 教程强调，在理想化条件下，如果模型容量无限、训练目标被精确最小化、没有额外正则化，那么闭式最优 score/velocity 可能对应“只生成训练样本”的行为。换句话说，单看训练目标本身，并不能自动解释真实模型为什么会泛化。 这正是后续讨论的起点：真实模型并不是任意函数，它们受网络架构、参数化方式、优化算法、训练时间、数值求解和数据结构共同约束。泛化很可能不是目标函数单独带来的，而是这些约束共同塑造的结果。

Part II：从记忆到泛化

第二部分进入教程核心：如何理解扩散与 Flow Matching 中的记忆和泛化。 教程首先区分两个概念。记忆 指模型生成训练样本或与训练样本高度接近的样本；泛化 则是生成看起来来自真实数据分布、但并非训练集近邻的新样本。泛化并不容易用单一指标衡量，通常需要同时考虑 fidelity、diversity 和 novelty。图像生成中常用 FID 等指标，但这些指标也有已知局限。

教程指出，记忆和泛化常被当作二元对立：模型要么记住训练集，要么泛化到新样本。但实际情况更复杂。一个生成模型可能在局部记忆某些样本，同时在其他区域形成平滑插值；也可能在某些数据尺度上泛化，在细粒度细节上复用训练片段。 因此，关键问题变成：泛化的主要来源是什么？

教程总结了几类假说。第一是架构归纳偏置，例如卷积网络、U-Net、多尺度结构、局部性和等变性会限制模型能表达的函数，从而避免完全记忆。第二是优化动态正则化，即梯度下降、早停、参数化和训练路径会让模型偏向某类简单或平滑解。第三是推理过程中的随机性与 ODE/SDE 数值误差，它们也可能影响生成结果，但是否足以解释泛化仍需要谨慎分析。

教程的一个重要判断是：扩散与 Flow Matching 的泛化性质仍远未被完全理解。当前研究大致围绕两条主线推进：一条从模型架构解释泛化，另一条从训练动态解释泛化。二者并不互斥，真实模型很可能同时受到这两类机制影响。

Part III：超越泛化，走向创造性

第三部分进一步讨论“创造性”。如果泛化只是生成像训练分布但不等同训练样本的数据，那么创造性则更关注模型能否生成具备新组合、新结构或新语义的样本。 教程将创造性与若干机制联系起来：score/velocity 的显式正则化、等变性、局部性约束，以及从局部性推广到相关性约束。直观地说，模型并不是逐像素死记训练集，而是在架构和数据统计的共同约束下学习某些局部或结构化规律，再将这些规律组合到新样本中。 这一部分尤其强调 U-Net 的作用。U-Net 在图像扩散模型中非常关键，其多尺度、局部连接和跳连结构可能提供了强归纳偏置。教程引用的相关研究试图用闭式约束问题去近似解释小型 U-Net 的行为，从而给出“为什么小扩散模型能泛化”的机制性直觉。

这部分的核心启发是：所谓创造性并不一定神秘，它可能来自“不能完全记忆”的结构限制。模型在有限容量、局部约束和数据统计之间找到可行解，由此产生既像训练数据、又不完全复制训练数据的样本。

Part IV：开放问题与讨论

最后一部分整理了若干开放问题。 第一，过参数化与欠参数化模型的记忆/泛化边界仍不清楚。模型容量越大，是否一定越容易记忆？在什么条件下，大模型仍会被优化动态或架构偏置约束？这些问题对理解大规模生成模型非常关键。 第二，U-Net 之外的架构如何解释？教程提出“Beyond U-Nets?”这一问题：U-Net 在图像扩散中很重要，但 Transformer、混合架构、潜空间扩散和新型生成骨干正在快速发展。未来需要更细粒度刻画不同架构的归纳偏置。

第三，如何把“粗到细的条件局部性”等真实模型特性纳入闭式理论？现有理论往往依赖简化设置，但真实扩散模型有多尺度结构、条件输入、复杂噪声调度和高维数据分布。理论要解释真实系统，需要从玩具模型走向更贴近现代架构的分析。 第四，如何统一记忆、泛化和创造性评估？记忆可通过近邻检索、训练样本复现率等方式测量；泛化要同时考虑保真度、多样性和新颖性；创造性更难，需要度量语义组合、结构创新和远离训练集的合理性。现有指标仍不充分。

核心 takeaway

这门教程最重要的观点可以概括为三点。 第一，扩散与 Flow Matching 的训练目标本身并不能完全解释泛化。理想闭式最优解可能更接近记忆训练样本，因此真实模型的泛化需要从架构、优化和数据结构中寻找答案。 第二，记忆与泛化不是简单二选一。真实生成模型可能在不同尺度、不同区域、不同样本类型上同时表现出记忆和泛化。理解这种连续谱，比只问“模型是否记忆”更重要。 第三，创造性可能来自结构性约束。模型之所以能生成新样本，不只是因为数据多或模型大，也可能因为架构局部性、等变性、优化动态和参数化方式阻止了完全记忆，并迫使模型学习可组合的规律。

适合谁看

这份 tutorial 适合三类读者。 一是正在研究扩散模型、Flow Matching、score-based model 或生成模型理论的研究者。它提供了从闭式解、记忆、泛化到创造性的系统问题框架。 二是关注生成模型安全、版权、数据泄漏和训练数据提取的人。教程中的记忆问题与训练样本复现、隐私风险高度相关。 三是希望理解现代生成模型“为什么能创作”的工程与产品团队。它提醒我们，生成模型的能力不只是 prompt engineering 的结果，而与架构归纳偏置、优化过程和训练数据统计密切相关。 总的来说，这个 ICML 2026 Tutorial 把扩散与 Flow Matching 的一个关键理论难题讲得很清楚：生成模型为什么没有停留在记忆训练集，而是表现出泛化乃至创造性？ 这个问题仍未完全解决，但它已经成为理解下一代生成模型的重要入口。