Classifier-Free Guidance (CFG) has emerged as a central approach for enhancing semantic alignment in flow-based diffusion models. In this paper, we explore a unified framework called CFG-Ctrl, which reinterprets CFG as a control applied to the first-order continuous-time generative flow, using the conditional-unconditional discrepancy as an error signal to adjust the velocity field. From this perspective, we summarize vanilla CFG as a proportional controller (P-control) with fixed gain, and typical follow-up variants develop extended control-law designs derived from it. However, existing methods mainly rely on linear control, inherently leading to instability, overshooting, and degraded semantic fidelity especially on large guidance scales. To address this, we introduce Sliding Mode Control CFG (SMC-CFG), which enforces the generative flow toward a rapidly convergent sliding manifold. Specifically, we define an exponential sliding mode surface over the semantic prediction error and introduce a switching control term to establish nonlinear feedback-guided correction. Moreover, we provide a Lyapunov stability analysis to theoretically support finite-time convergence. Experiments across text-to-image generation models including Stable Diffusion 3.5, Flux, and Qwen-Image demonstrate that SMC-CFG outperforms standard CFG in semantic alignment and enhances robustness across a wide range of guidance scales. Project Page: https://hanyang-21.github.io/CFG-Ctrl


翻译:分类器无关引导(CFG)已成为增强基于流的扩散模型中语义对齐的核心方法。本文探讨了一个名为CFG-Ctrl的统一框架,该框架将CFG重新解释为应用于一阶连续时间生成流的控制,利用条件-无条件差异作为误差信号来调整速度场。基于此视角,我们将原始CFG总结为具有固定增益的比例控制器(P-control),而典型的后续变体则在此基础上衍生出扩展的控制律设计。然而,现有方法主要依赖线性控制,这本质上会导致不稳定性、超调以及语义保真度下降,尤其是在大引导尺度下。为解决这一问题,我们引入了滑模控制CFG(SMC-CFG),它强制生成流向快速收敛的滑模流形推进。具体而言,我们在语义预测误差上定义了一个指数型滑模面,并引入一个切换控制项以建立非线性反馈引导的校正。此外,我们提供了李雅普诺夫稳定性分析,从理论上支持有限时间收敛。在包括Stable Diffusion 3.5、Flux和Qwen-Image在内的文本到图像生成模型上的实验表明,SMC-CFG在语义对齐方面优于标准CFG,并在广泛的引导尺度范围内增强了鲁棒性。项目页面:https://hanyang-21.github.io/CFG-Ctrl

0
下载
关闭预览

相关内容

分类是数据挖掘的一种非常重要的方法。分类的概念是在已有数据的基础上学会一个分类函数或构造出一个分类模型(即我们通常所说的分类器(Classifier))。该函数或模型能够把数据库中的数据纪录映射到给定类别中的某一个,从而可以应用于数据预测。总之,分类器是数据挖掘中对样本进行分类的方法的统称,包含决策树、逻辑回归、朴素贝叶斯、神经网络等算法。
【CVPR2022】弱监督语义分割的类重新激活图
专知会员服务
17+阅读 · 2022年3月7日
【WWW2021】充分利用层级结构进行自监督分类法扩展
专知会员服务
16+阅读 · 2021年2月7日
CFGAN:基于生成对抗网络的协同过滤框架
变分自编码器VAE:一步到位的聚类方案
PaperWeekly
25+阅读 · 2018年9月18日
【干货】一文读懂什么是变分自编码器
专知
12+阅读 · 2018年2月11日
国家自然科学基金
1+阅读 · 2016年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
1+阅读 · 2016年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员