Continuous-state generative samplers, including diffusion and flow-matching models, evolve through continuous reverse-time dynamics, yet their samples often undergo abrupt qualitative changes: trajectories commit to modes, semantic alternatives collapse, and small perturbations in narrow time windows can produce large downstream effects. This paper develops a geometric account of such phase-transition-like behaviour. We view denoising as gradient descent on a free energy landscape and show that sharp transitions arise near projection caustics, where the nearest-point projection onto the data support ceases to be unique. Motivated by this perspective, we introduce the Critical Boundary Detector (CBD), as practical diagnostics for score-direction instability. Across toy models, standard diffusion models, and latent text-to-image diffusion models, CBD localises mode commitment, predicts intervention-sensitive windows, and supports targeted control in geometrically sensitive regions. Our results connect geometry of data and dynamics of diffusion generation.


翻译:连续状态生成采样器(包括扩散模型和流匹配模型)通过连续逆向动力学演化,但其样本常经历突发的定性变化:轨迹锁定至模态,语义替代方案坍缩,且狭窄时间窗口内的微小扰动可产生显著的下游效应。本文从几何角度阐释此类类相变行为。我们将去噪过程视为自由能景观上的梯度下降,并证明尖锐相变出现在投影焦点附近——此时数据支撑集上的最近点投影不再唯一。受此视角启发,我们提出临界边界检测器(CBD),作为分数方向不稳定性的实用诊断工具。在玩具模型、标准扩散模型及潜在文本到图像扩散模型中,CBD 能够定位模态锁定位置、预测干预敏感窗口,并在几何敏感区域支持定向控制。我们的结果建立了数据几何与扩散生成动力学之间的关联。

0
下载
关闭预览

相关内容

自动结构变分推理,Automatic structured variational inference
专知会员服务
41+阅读 · 2020年2月10日
论文浅尝 | GEOM-GCN: Geometric Graph Convolutional Networks
开放知识图谱
14+阅读 · 2020年4月8日
多图带你读懂 Transformers 的工作原理
AI研习社
10+阅读 · 2019年3月18日
论文浅尝 | 变分知识图谱推理:在KG中引入变分推理框架
国家自然科学基金
1+阅读 · 2016年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
《通过小型无人机系统将情报能力“作战化”》
消耗优势:美军的“精确规模化”概念
专知会员服务
8+阅读 · 6月15日
《离线语言支持系统:面向空战战术决策》
专知会员服务
9+阅读 · 6月15日
相关VIP内容
自动结构变分推理,Automatic structured variational inference
专知会员服务
41+阅读 · 2020年2月10日
相关基金
国家自然科学基金
1+阅读 · 2016年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员