Autonomous (noise-agnostic) generative models, such as Equilibrium Matching and blind diffusion, challenge the standard paradigm by learning a single, time-invariant vector field that operates without explicit noise-level conditioning. While recent work suggests that high-dimensional concentration allows these models to implicitly estimate noise levels from corrupted observations, a fundamental paradox remains: what is the underlying landscape being optimized when the noise level is treated as a random variable, and how can a bounded, noise-agnostic network remain stable near the data manifold where gradients typically diverge? We resolve this paradox by formalizing Marginal Energy, $E_{\text{marg}}(\mathbf{u}) = -\log p(\mathbf{u})$, where $p(\mathbf{u}) = \int p(\mathbf{u}|t)p(t)dt$ is the marginal density of the noisy data integrated over a prior distribution of unknown noise levels. We prove that generation using autonomous models is not merely blind denoising, but a specific form of Riemannian gradient flow on this Marginal Energy. Through a novel relative energy decomposition, we demonstrate that while the raw Marginal Energy landscape possesses a $1/t^p$ singularity normal to the data manifold, the learned time-invariant field implicitly incorporates a local conformal metric that perfectly counteracts the geometric singularity, converting an infinitely deep potential well into a stable attractor. We also establish the structural stability conditions for sampling with autonomous models. We identify a ``Jensen Gap'' in noise-prediction parameterizations that acts as a high-gain amplifier for estimation errors, explaining the catastrophic failure observed in deterministic blind models. Conversely, we prove that velocity-based parameterizations are inherently stable because they satisfy a bounded-gain condition that absorbs posterior uncertainty into a smooth geometric drift.


翻译:自主(噪声不可知)生成模型,如均衡匹配与盲扩散,通过学习单一、时不变且无需显式噪声水平条件化的向量场,对标准范式提出了挑战。尽管近期研究指出高维集中性使得这些模型能够从含噪观测中隐式估计噪声水平,但一个根本性悖论依然存在:当噪声水平被视为随机变量时,被优化的底层景观是什么?一个有界的、噪声不可知的网络如何在梯度通常发散的数据流形附近保持稳定?我们通过形式化边际能量 $E_{\text{marg}}(\mathbf{u}) = -\log p(\mathbf{u})$ 来解析这一悖论,其中 $p(\mathbf{u}) = \int p(\mathbf{u}|t)p(t)dt$ 是含噪数据在未知噪声水平的先验分布上积分得到的边际密度。我们证明,使用自主模型的生成过程不仅仅是盲去噪,而是该边际能量上的一种特定形式的黎曼梯度流。通过一种新颖的相对能量分解,我们证明尽管原始边际能量景观在垂直于数据流形的方向上具有 $1/t^p$ 奇异性,但所学的时不变场隐式地融入了一个局部共形度量,该度量完美抵消了几何奇异性,将无限深的势阱转化为稳定的吸引子。我们还建立了使用自主模型进行采样的结构稳定性条件。我们识别出噪声预测参数化中存在一个“詹森间隙”,该间隙作为估计误差的高增益放大器,解释了在确定性盲模型中观察到的灾难性失败。相反,我们证明了基于速度的参数化本质上是稳定的,因为它们满足一个有界增益条件,该条件将后验不确定性吸收为平滑的几何漂移。

0
下载
关闭预览

相关内容

去噪扩散概率模型,46页ppt
专知会员服务
63+阅读 · 2023年1月4日
专知会员服务
43+阅读 · 2021年8月30日
近期声学领域前沿论文(No. 3)
深度学习每日摘要
24+阅读 · 2019年3月31日
论文浅尝 | 基于深度强化学习的远程监督数据集的降噪
开放知识图谱
29+阅读 · 2019年1月17日
论文浅尝 | 基于局内去噪和迁移学习的关系抽取
开放知识图谱
16+阅读 · 2018年12月2日
图像降噪算法介绍及实现汇总
极市平台
26+阅读 · 2018年1月3日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 4月16日
Arxiv
0+阅读 · 3月26日
VIP会员
最新内容
俄罗斯无人机战线实验
专知会员服务
5+阅读 · 今天3:29
高阶网络的表示:基于图的框架综述
专知会员服务
8+阅读 · 5月14日
《作战资源再分配的作战行动数学模型构建》
专知会员服务
13+阅读 · 5月14日
世界动作模型: 具身AI的下一个前沿
专知会员服务
15+阅读 · 5月13日
全球十大防空反导系统:列表、射程与用途
专知会员服务
16+阅读 · 5月13日
相关VIP内容
去噪扩散概率模型,46页ppt
专知会员服务
63+阅读 · 2023年1月4日
专知会员服务
43+阅读 · 2021年8月30日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员