导读

扩散模型通常被看作“强大的采样器”：输入文本提示，经过一系列去噪步骤，输出高质量图像。但这篇 Berkeley 博士论文提醒我们，如果只把扩散模型当成生成器，就会错过它们内部更有价值的一面：大规模生成模型也学习了丰富的表示，这些表示不仅可以解释模型如何理解世界，还可以被复用到语义匹配、可控生成、跨模态任务迁移和模型行为 steering 中。

Grace Luo 的博士论文《Interpreting and Controlling Generative Models》围绕一个清晰问题展开：生成模型内部到底学到了什么？这些内部表示能否被提取、解释、压缩、迁移，并用于控制模型行为？论文从视觉扩散模型出发，先提出 Diffusion Hyperfeatures，把扩散过程不同层、不同时间步中的特征整合为可用于判别任务的通用表示；随后提出 Readout Guidance，用轻量 readout head 从冻结扩散模型中读出姿态、深度、边缘、身份等控制信号，并反过来引导生成。

论文后半部分进一步跳出传统视觉生成。Dual-Process Generation 使用视觉语言模型作为“慢思考”评估器，将其判断蒸馏进“快反应”的图像生成器；Cross-Modal Representations 研究 VLM 是否会把文本指令、文本示例和图像示例对齐到共享任务表示；Generative Latent Prior 则更进一步，直接在语言模型激活上训练扩散模型，用生成式先验来建模表示空间本身。

这篇论文的主线不是“让图像更好看”，而是“让生成模型更可解释、更可控、更可复用”。它展示了一条很有启发性的路线：先理解生成模型内部表征，再利用这些表征实现新的能力，最后把生成建模本身扩展到神经网络激活空间。

一、论文主线：生成模型不只是采样器

论文从一个类比出发：在早期计算机视觉中，AlexNet 虽然是为图像分类训练的，但其中间特征很快被发现可迁移到检测、分割和其他视觉任务。作者认为，扩散模型也可能存在类似现象。它们虽然以图像生成闻名，但在大规模图文数据和多步去噪过程中，模型内部可能形成了可迁移、可解释的视觉表示。

问题在于，这些表示并不容易直接使用。扩散模型的特征分散在多个 U-Net 层、多个去噪时间步以及不同生成/反演过程之中。手工挑选某一层或某个时间步既低效，也容易遗漏有用信息。更进一步，即使我们能读出这些表示，如何用它们控制生成、解释 VLM 的任务表示、甚至建模语言模型激活空间，仍然是开放问题。

整篇论文分成四个层次：提取扩散表示、用表示控制生成、把表示研究扩展到 VLM、最后用生成模型建模表示本身。每一部分都遵循相似原则：冻结大型预训练模型，在其上学习轻量组件，然后用这些组件解释或控制模型行为。

二、扩散超特征：从生成过程提取可迁移表示

论文第二章提出 Diffusion Hyperfeatures。核心思想是：不要只手工选择扩散模型中的某一层特征，而是把去噪过程里跨层、跨时间步的特征全部纳入候选，再用轻量聚合网络学习哪些特征对当前任务最有用。

具体来说，方法在真实图像上通过反演过程提取特征，在生成图像上通过生成过程提取特征。不同层和时间步捕捉的信息不同：有些更偏语义，有些更偏纹理或边缘，有些在早期噪声阶段就已经形成稳定对应关系。聚合网络将这些高维特征标准化、加权并合成为单一描述符。 作者用语义关键点匹配作为主要验证任务。这个任务要求模型在两张不同图像中找到语义对应点，例如动物身体部位或物体局部。实验显示，Diffusion Hyperfeatures 在 SPair-71k、CUB 等数据上超过多种监督和自监督视觉特征，说明扩散模型确实包含强大的判别式表示。 这个结论很关键：扩散模型不是只会“画图”，它在生成过程中形成的内部状态可以用于理解图像、建立语义对应，甚至迁移到真实图像和合成图像之外的场景。

三、Readout Guidance：从扩散特征读出控制信号

如果扩散特征能用于判别任务，那么它们能否反过来用于控制生成？第三章提出 Readout Guidance。方法在冻结的文本到图像扩散模型上训练轻量 readout heads，用于从中间特征中读出姿态、深度、边缘、外观相似性、点对应等信号。

采样时，readout head 预测当前生成图像是否满足用户指定的目标约束。如果预测结果与目标不一致，就把误差信号作为 guidance，引导后续去噪过程向目标靠近。这样，扩散模型可以在不大规模重训的情况下支持新的控制方式。 Readout Guidance 的优势在于数据效率。传统 ControlNet 或 T2I-Adapter 往往需要大量标注数据和较长训练时间，而 readout head 可以用少量监督样本训练。论文展示了拖拽式图像编辑、身份一致生成、姿态/深度/边缘控制等应用，还可以与现有条件控制方法叠加使用，用 readout 信号修正困难样例。 这部分工作把论文第一部分的“解释”转化为“控制”：读出模型内部表示，不只是为了分析，还可以把这些表示变成新的采样约束。

四、双过程生成：让 VLM 教会图像生成器新任务

第四章将视角从扩散模型内部特征扩展到视觉语言模型。作者提出 Dual-Process Generation，其灵感来自认知科学中的双过程理论：图像生成器像快速、前馈的 System 1，视觉语言模型像较慢但知识丰富的 System 2。前者负责生成，后者负责判断生成结果是否满足任务。

具体流程是：给定提示和一个需要检查的问题，生成器先产生图像；VLM 对图像进行评分或回答问题；系统再把这个反馈梯度用于更新图像生成器的 LoRA 权重。这样，生成器可以从 VLM 的“审题能力”和“任务判断能力”中学习新的控制方式。 这种方法特别适合传统控制接口难以表达的任务。例如，让图像满足某种常识关系、相对深度、地平线位置、调色板或视觉提示。由于 VLM 可以接受文本和图像混合输入，控制接口比单纯文本提示更灵活。 当然，这类方法也有风险。论文指出，若反馈来自模型而非人类，系统可能出现 reward hacking：生成器学会钻 VLM 评估标准的空子，而不是满足人类真正意图。因此，Dual-Process Generation 同时展示了 VLM 作为通用判别器的潜力，也提醒我们需要关注评估器误判和任务歧义。

五、跨模态任务表示：VLM 是否形成共享任务向量

第五章研究 VLM 的内部表示。一个 VLM 可以通过文本指令、文本示例或图像示例完成类似任务，例如“国家到首都”“食物到颜色”等。问题是：这些不同模态、不同格式的任务说明，是否会在模型内部收敛到某种共享任务表示？

论文发现，VLM 会把概念等价的输入对齐到共享任务向量中，并且这种表示对模态和任务说明格式具有一定不变性。也就是说，模型不只是把图像和文字 embedding 对齐，而是在更高层形成“当前要做什么任务”的抽象表示。 作者通过 cross-modal patching 验证这一点：从一种模态中提取任务向量，再注入另一种模态的查询中，模型仍能执行相应任务。实验显示，文本示例得到的任务向量可以迁移到图像查询，甚至比少样本提示更有效。这说明 VLM 内部存在可操作的任务表示，而不只是表面 prompt 匹配。 这一发现对解释和控制多模态模型很重要。若任务可以被表示为向量，就可以被提取、组合、迁移、覆盖，甚至从指令中派生出来。它为后续更系统地操控 VLM 行为提供了表示层接口。

六、生成式潜变量先验：对激活空间本身建模

第六章是论文最抽象也最前沿的部分：Generative Latent Prior（GLP）。过去分析神经网络激活常依赖 PCA、线性探针或稀疏自编码器，这些方法通常带有较强结构假设。GLP 则提出：既然生成模型擅长学习复杂数据分布，为什么不直接对神经网络激活训练一个生成模型？

GLP 在冻结语言模型的大量激活上训练扩散模型，使其学习激活空间的分布结构。这样得到的 activation diffusion model 可以作为先验，用于把被 steering 扰动后的激活投回模型学到的流形上，缓解传统 activation steering 容易把激活推离自然分布、导致输出质量下降的问题。 论文显示，GLP 生成的激活样本可以逐渐接近真实激活分布，并且随着采样步数增加，分布距离下降。更重要的是，GLP 在下游 steering 和 probing 上带来收益：它可以改进 SAE steering、帮助诱导特定 persona，也可以用于发现与情感、矛盾等概念相关的 meta-neurons。

这部分把“生成模型解释与控制”的边界推到更深处：不只是用生成模型处理图像，也不只是解释扩散模型特征，而是用生成式方法学习神经网络内部表示本身。

七、统一观点：解释与控制是同一件事的两面

这篇论文最有意思的地方在于，它把解释和控制连成了一条链。Diffusion Hyperfeatures 先说明扩散模型内部有可复用表示；Readout Guidance 把这些表示转化为控制信号；Dual-Process Generation 用 VLM 的判断能力指导生成器；Cross-Modal Representations 揭示 VLM 内部存在共享任务向量；GLP 则用扩散模型学习激活空间本身。 在这些工作中，“解释”不是停留在可视化或事后分析，而是直接变成新的系统能力。只要能够可靠地读出模型内部表示，就可以把它用于匹配、控制、迁移、steering 和 probing。反过来，控制实验也能检验解释是否真的抓住了模型内部有用结构。 这也构成了一种研究范式：先冻结强模型，读出其中间表示；再训练轻量组件，让这些表示服务于新任务；最后用生成式先验建模表示空间，使 steering 和 probing 更接近模型自然分布。

八、未来方向

论文指出，生成模型的可解释性和可控性仍有很多开放问题。首先，扩散模型的内部表示虽然强大，但其跨模型、跨架构、跨数据集的稳定性仍需要更系统研究。不同扩散模型的有用层和时间步可能不同，自动特征选择仍是关键。 其次，基于模型反馈的控制方法需要处理 reward hacking 和评估器偏差。VLM 可以作为通用判别器，但它并不等同于人类判断。当任务描述有歧义或评估器存在盲点时，生成器可能学到“让 VLM 满意”而不是“让人类满意”的策略。 第三，跨模态任务表示提供了新的控制接口，但我们仍不清楚这些任务向量为何形成、如何随层数演化、能否可靠组合，以及在更开放的真实任务中是否仍然稳定。 第四，GLP 代表了一条新方向：把模型内部激活当作数据模态来生成建模。未来可以研究更大规模激活模型、不同层/不同模型之间的共享先验，以及如何把生成式表示先验用于安全、对齐和机制解释。

九、结语

这篇博士论文的核心信息很明确：生成模型不只是输出样本的机器，也是一类携带丰富内部表示的系统。理解这些表示，可以让我们复用扩散模型做判别任务；读出这些表示，可以让我们用少量数据实现新的生成控制；建模这些表示，则可能让模型 steering 和知识探测更自然、更可靠。 从 Diffusion Hyperfeatures 到 Readout Guidance，从 Dual-Process Generation 到 Cross-Modal Representations，再到 Generative Latent Prior，论文展示了一条从视觉生成到激活空间建模的路线。对于未来基础模型研究来说，“解释生成模型”和“控制生成模型”不应是两条分离道路，而应成为同一套方法论中的两个方向：理解内部表示，并把这种理解转化为可用的模型能力。