Diffusion models do not recover semantic structure uniformly over time. Instead, samples transition from semantic ambiguity to class commitment within a narrow regime. Recent theoretical work attributes this transition to dynamical instabilities along class-separating directions, but practical methods to detect and exploit these windows in trained models are still limited. We show that tracking the class-conditional entropy of a latent semantic variable given the noisy state provides a reliable signature of these transition regimes. By restricting the entropy to semantic partitions, the entropy can furthermore resolve semantic decisions at different levels of abstraction. We analyze this behavior in high-dimensional Gaussian mixture models and show that the entropy rate concentrates on the same logarithmic time scale as the speciation symmetry-breaking instability previously identified in variance-preserving diffusion. We validate our method on EDM2-XS and Stable Diffusion 1.5, where class-conditional entropy consistently isolates the noise regimes critical for semantic structure formation. Finally, we use our framework to quantify how guidance redistributes semantic information over time. Together, these results connect information-theoretic and statistical physics perspectives on diffusion and provide a principled basis for time-localized control.


翻译:扩散模型并非随时间均匀地恢复语义结构。相反,样本在狭窄的时间窗口内从语义模糊性过渡到类别承诺。最近的理论工作将这种过渡归因于沿类别分离方向的动态不稳定性,但检测和利用已训练模型中这些窗口的实用方法仍然有限。我们证明,跟踪给定噪声状态下潜在语义变量的类别条件熵可以提供这些过渡窗口的可靠特征。通过将熵限制在语义划分上,熵还能进一步解析不同抽象层次上的语义决策。我们在高维高斯混合模型中分析了这一行为,并表明熵率集中在对数时间尺度上,这与之前识别出的方差保持扩散中的物种形成对称性破缺不稳定性相同。我们在EDM2-XS和Stable Diffusion 1.5上验证了我们的方法,其中类别条件熵一致地隔离了语义结构形成关键噪声区域。最后,我们利用框架量化了引导机制如何随时间重新分配语义信息。总之,这些结果将扩散模型的信息论与统计物理视角联系起来,并为时间局部控制提供了理论基础。

0
下载
关闭预览

相关内容

《扩散模型》最新教程,141页ppt
专知会员服务
79+阅读 · 2024年12月2日
《扩散模型及其应用》最新综述
专知会员服务
50+阅读 · 2024年8月21日
《扩散模型图像编辑》综述
专知会员服务
28+阅读 · 2024年2月28日
详解扩散模型:从DDPM到稳定扩散,附Slides与视频
专知会员服务
87+阅读 · 2022年10月9日
【AAAI2021】对比聚类,Contrastive Clustering
专知
26+阅读 · 2021年1月30日
深度学习文本分类方法综述(代码)
中国人工智能学会
28+阅读 · 2018年6月16日
Attention模型方法综述 | 多篇经典论文解读
PaperWeekly
107+阅读 · 2018年6月11日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Arxiv
0+阅读 · 5月27日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
6+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
7+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
5+阅读 · 6月17日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员