综述 | 智能体式视觉生成：从生成模型到智能体控制

论文链接：https://arxiv.org/abs/2609.06758PDF：https://arxiv.org/pdf/2609.06758标题：Agentic Visual Generation: From Generative Models to Agentic Control作者：Yinming Huang, Shuyuan Tu, Xi Yan, Jiahao Zhan, Zihan Yang, Zhen Xing, Hui Zhang, Tiehua Zhang, Yu-Gang Jiang, Zuxuan Wu

导读

这篇综述讨论的是一个正在快速成形的新方向：视觉生成系统如何从“一次调用生成模型”走向“由控制器持续决策的智能体过程”。在传统文本到图像、视频、3D 或界面生成中，模型通常接收一个条件，然后沿固定推理路径产出结果；而智能体式视觉生成更关心另一件事：系统是否能规划、选择工具、检查中间结果、修复失败，并把完成任务后的经验用于未来任务。 论文的核心贡献不是简单罗列“用了大模型、用了多智能体、用了强化学习”的系统，而是提出一个更可复现的判定标准：看控制器能在生成过程中改变多远之后的决策。由此，作者把相关系统划分为 L0 到 L4：L0 是固定支持组件，L1 控制输入条件，L2 控制执行操作，L3 根据当前任务的生成结果进行修复，L4 将跨任务经验沉淀为未来决策依据。这个视角把“生成能力”和“控制能力”分开，也避免把模型规模、工具数量、角色数量或训练方法误当作智能体性。

Introduction | 引言

视觉生成已经从图像扩展到视频、3D、幻灯片、用户界面和世界建模。DALL-E 2、Imagen、Parti、Latent Diffusion、SDXL、DALL-E 3 等模型提升了图像质量与语言对齐能力；Video Diffusion Models、Make-A-Video、Imagen Video、Video LDM、Lumiere 等工作把扩散生成推进到时间维度。这些进展增强的是“执行器”能力：给定条件后，模型能够生成更好内容。 但论文指出，智能体式视觉生成的关键不在于生成器本身更强，而在于是否存在一个能影响生成过程的控制器。这个控制器通常由 LLM、VLM 或多模态大模型承担，视觉生成模型则作为工具或执行器。控制器可以改写提示、构造布局、选择模型、调用编辑器、检查中间结果、决定是否重试、保留经验并改变未来路由。 作者认为，当前文献对“agentic”的使用较混乱：规划深度、工具使用、多角色协作、强化学习经常被当成智能体性的证据，但它们都不是决定性标准。真正需要追问的是：控制器到底能直接控制哪些生成决策？它能否在观察到结果之后改变下一步？它能否把一次任务的经验迁移到后续独立任务？ 本文的组织方式也很清晰：第二、三节定义生成与控制的区别，并提出 L0-L4 层级；第四至第八节分别分析 L0-L4；第九节讨论训练与强化学习；第十节给出分层评估协议；第十一、十二节讨论开放问题与总结。

From Visual Generation to Generation-Level Control | 从视觉生成到生成级控制

基本概念

论文首先区分“视觉生成”和“生成级控制”。视觉生成描述执行器能创造或编辑什么内容；生成级控制描述控制器如何选择条件、调用操作，并围绕执行器改变后续动作。 在这个框架中，控制器可以是语言模型、多模态模型、学习到的策略、搜索过程，也可以是多个专门角色组成的团队。它的定义性特征不是架构，而是是否存在会影响任务执行的中间决策。视觉生成中的这类决策包括提示修订、布局构造、模型路由、参考选择、编辑、验证、记忆更新和停止。 生成器则负责构造视觉状态。它可以生成图像、视频、视觉故事、幻灯片、用户界面、3D 场景或交互环境。对于幻灯片和界面，动作表示可以是 PowerPoint 对象、XML、HTML、CSS 或可执行代码，但评价对象仍是渲染后的视觉结构与行为。

系统定义

作者将智能体式视觉生成系统定义为：同时包含视觉生成器或编辑器，以及一个在一步或多步中控制生成的决策过程。给定用户目标、当前多模态状态、动作与后续观察，控制器根据目标和状态选择动作；环境状态再被生成图像、视频片段、场景、评论或检索参考更新。 这个形式化定义强调三点。第一，系统会创造自己未来观察空间的一部分，因为生成结果会成为后续状态。第二，动作空间可以混合符号动作、工具调用和视觉生成。第三，轨迹质量不仅取决于最终输出，也取决于为获得输出而做出的决策。

任务轴与机制轴

论文提出两个辅助描述轴：任务轴和机制轴。任务轴覆盖图像生成与编辑、视频生成与编辑、幻灯片和界面生成、3D 资产与场景构造、世界扎根合成、交互仿真等。任务类型并不决定智能体层级，一个图像系统可能比视频系统更具自适应能力，一个多镜头视频流程也可能仍是开环管线。 机制轴覆盖意图扎根、显式或隐式规划、工具路由、检索、多智能体协作、验证、记忆和强化学习。它们解释控制器如何实现，但不定义层级。工具使用只是动作空间，多智能体只是拓扑结构，强化学习只是优化方式；这些机制都可能出现在不同层级。

A Hierarchy of Controller Decision-Making Scope | 控制器决策范围层级

层级判定原则

论文的核心组织原则是因果性的：视觉生成中的智能体性取决于控制器能在生成轨迹中多深的位置改变未来生成决策。条件发生在执行之前；执行决策决定调用哪种视觉操作；观察到结果后可以重定向当前任务的后续动作；持久经验则能影响当前任务结束后的另一个任务。 因此，作者给出五个标签。L0 Fixed Support 表示固定支持组件，是纳入边界而非真正的控制器层级。L1 Conditioning Control 表示控制器构造输入条件，但不选择具体视觉操作。L2 Execution Control 表示控制器选择并调用生成、编辑、渲染或其他会修改内容的操作。L3 Outcome-Adaptive Control 表示控制器根据中间结果改变当前任务中的后续动作。L4 Experience-Adaptive Control 表示控制器保留已完成任务的经验，并改变未来独立任务的决策。

保守分配规则

论文建议从高到低做判定：如果存在跨任务持久经验影响未来控制，则是 L4；如果观察结果能导致当前任务后续动作改变，则是 L3；如果能选择和调用视觉操作，则是 L2；如果只为固定执行器构造条件，则是 L1；都不满足则归入 L0。 这个规则有助于处理边界情况。提示改写加固定生成器是 L1；生成器或编辑器选择是 L2；批评加修复或重生成是 L3；只保留当前任务状态不构成 L4；从完成任务中抽象出可复用技能才是 L4；强化学习训练过的固定生成器仍可能只是 L0 或 L1，因为层级取决于推理时动作空间，而不是训练优化器。

细粒度分类

在每一层内部，作者再用一个二级轴组织系统。L0 按支持功能划分；L1 按面向生成器的规格说明划分；L2 按控制器选择的可执行对象划分；L3 按触发后续动作的反馈来源划分；L4 按持久经验的载体划分。这种设计避免为每篇论文新造标签，也让跨模态比较更稳定。

L0: Fixed Support | 固定支持

生成、检索与训练基础设施

L0 包括固定生成器、编辑器、检索器、评估器、奖励模型、基准和预设管线。它们可以是后续智能体系统的重要组件，但自身没有部署时的生成级决策。典型例子包括 Latent Diffusion、Video Diffusion、DreamFusion、ControlNet、T2I-Adapter、DreamBooth、IP-Adapter、InstructPix2Pix 等。 论文特别强调，生成器可控性不等于控制器决策范围。ControlNet 能执行给定空间条件，IP-Adapter 能接收参考图像，InstructPix2Pix 能执行编辑指令，但如果系统没有决定是否调用另一种操作、是否修复失败结果、是否把经验保留下来，就仍然是固定支持。 数据构造和训练基础设施同样属于 L0 的重要部分。ScaleEdit-12M、JAVEDIT、DataEvolver、AgentComp、Gen-n-Val 等工作可能在离线数据构造阶段使用多角色或工具流程；DPOK、AeSlides、FrontCoder、T2I-R1、ReasonGen-R1 等通过奖励、推理监督或偏好优化提升生成器。但如果部署后的推理路径是固定的，它们仍不构成生成级智能体控制。

评估器与边界测试

ImageReward、Pick-a-Pic、GenEval、T2I-CompBench、VBench、EvalCrafter、AgenticVBench、DECKBench、3DCodeBench 等评估器和基准能诊断生成质量、组合失败、视频时间缺陷、幻灯片或 3D 建模问题。它们只有在被另一个机制映射为后续修复、重路由或停止动作时，才会成为 L3 闭环的一部分。 L0 的反事实判定问题是：在同一目标和状态下，部署系统能否选择不同的生成动作？如果不能，就是 L0。若只能决定给固定执行器什么条件，则进入 L1；能选择操作是 L2；能根据结果改后续动作是 L3；能跨任务保留经验是 L4。

L1: Conditioning Control | 条件控制

面向固定执行器的规格说明

L1 从 L0 的固定路径中迈出第一步：控制器不再直接把用户请求交给生成器，而是先把目标转换为可执行器消费的条件。形式上，它先生成条件，再由固定生成器产生结果。控制能力到此为止，系统仍在观察输出之前完成承诺。 论文把 L1 分为五类。第一是文本提示规格，如 Promptist、TIPO、APE、DiffChat、POSI，它们将用户请求改写为更适合生成器的提示，同时尽量保持语义和安全约束。第二是空间与几何规格，如 LMD、LayoutGPT、LLMControl、NaLA、DAC-Pose，它们把对象框、区域、姿态或场景结构显式化。 第三是检索证据规格，如 World-To-Image、Gen-Searcher、Cross-modal RAG、RealRAG、MosAIG。它们决定是否检索、检索什么，以及如何把证据绑定到概念或属性上。第四是时间与相机规格，如 Aurora、TempAct、AgentHOI、VideoGen-of-Thought、ShotVerse、CinemaTraj，它们在视频或场景生成前承诺动作、镜头、身份和视角。第五是结构化内容规格，如 CANVAS、S2ED、MangaFlow、SlideTailor、ScreenCoder、PosterGen，它们输出故事板、面板、文档或界面结构。

主要失败模式

L1 的核心收益是减少歧义，但它也会把系统更强地绑定到生成前的决定。提示优化可能提升美感却扭曲用户意图；空间规划可能遗漏实体或编码不可实现布局；检索系统可能引入无关证据，且生成器会忠实跟随这些错误证据。 因此，L1 不能只看最终图像偏好分数。提示改写要测语义保持，布局规划要测几何有效性，检索增强要测证据相关性。自然语言提示可移植但约束弱；框、轨迹和场景描述约束更强，但依赖生成器是否支持对应控制格式。

L2: Execution Control | 执行控制

从规格到可执行动作

L2 的变化是动作接口从“给定规格说明”转为“选择并调用操作”。控制器可以选择生成器、编辑器、搜索工具、渲染器、程序、工作流图或领域特定语言。Visual ChatGPT 把视觉基础模型暴露为可调用工具；ComfyUI-Copilot 构造可执行节点图；ViMax 则把编剧、镜头规划、角色风格和片段生成组织成视频操作链。 论文按主要可执行对象划分 L2：模型与工具操作、图像和结构化图形操作、视频和视听操作、文档和界面操作、3D/CAD/世界操作。工作流构造和多角色协作只是这些动作空间里的实现策略。

开环边界

L2 的边界在于它通常仍是开环：系统可以选择路线，但生成结果未必改变下一步路线。一个很长的计划、很多角色、一个复杂可执行工作流，都不自动意味着反馈控制。只有当执行返回的观察影响后续生成级动作时，才进入 L3。 这也带来评估要求。L2 研究应同时报告计划有效性、工具参数、执行成功率、状态保持和输出质量。一个系统可能因为偶然路线得到好图，也可能路线正确但生成器本身失败。分开报告轨迹正确性和终端质量，才能判断控制器是否真的有贡献。

L3: Outcome-Adaptive Control | 结果自适应控制

反馈来源

L3 加入结果依赖的状态转移：动作产生观察后，控制器先更新状态，再选择下一步动作。论文按触发后续动作的关键观察来源划分 L3。 第一类是感知结果反馈，即渲染图像、视频片段、多视图投影、幻灯片或界面截图中的可见差异改变后续动作。RPG、SLD、GenPilot、GenArtist、PPTAgent、UI2CodeN 等都属于这一类。第二类是结构化和执行反馈，包括程序状态、工作流状态、时间线状态、源素材状态、场景或引擎状态。第三类是物理与约束反馈，例如仿真动态、碰撞、稳定性、可达性和世界规则检查。第四类是人类审阅反馈，但只有当人的显式判断在当前任务中改变后续动作时，才算 L3。

诊断、保持与停止

L3 的难点不是多生成几次，而是把诊断和动作正确耦合。提示修订会把视觉缺陷翻译回语言；工具编辑可以选择局部操作；代码、XML 或场景状态修复可以定位到具体对象。后两者更利于信用分配，但也要求批评器更精确。 保持和停止同样关键。一次局部修复如果破坏了之前已满足的约束，就不是进步。论文建议报告非目标变化、已接受内容的回归、每次修订带来的收益以及停止是否校准。视频、界面、幻灯片和 3D 场景尤其需要跟踪时间状态、可执行性、交互行为和不可见视角下的约束。

L4: Experience-Adaptive Control | 经验自适应控制

五类持久经验载体

L4 的定义性能力是跨越当前任务边界：完成任务后的经验被写入某种载体，并影响未来独立任务。论文把经验载体分为五类。 第一是能力与工具画像，例如 DiffusionAgent、OctoT2I、PerfGuard、GenRouter，它们根据历史质量、效率或排名更新未来模型和工具路由。第二是情节与用户记忆，例如 MemoGen、BrandFusion、UniVA、MemSlides，它们检索过去请求、结果或用户偏好，改变新任务控制。第三是可复用过程与技能，例如 GenEvolve、EvoDiagram、ManimAgent，它们从成功和失败轨迹中抽象出可读策略。 第四是可执行工作流与控制框架，例如 COMFYCLAW、FigAgent、AutoDesign、VideoWeaver，它们把图、程序或中间件升级为可验证、可版本化的持久资产。第五是策略和模型更新，例如 SIDiffAgent、JarvisEvo、SPIRAL、CLARE，它们把经验写入参数或策略，使未来控制无需显式检索记忆项。

迁移、失败与回滚

L4 最容易被高估，因为经验既能保存有用策略，也能保存错误偏见。论文要求用时间顺序上的留出任务评估 L4，报告正迁移、负迁移、遗忘、陈旧经验敏感性、来源记录和回滚能力。一个“自进化”标签如果没有跨任务行为证据，并不足以证明 L4。 不同载体的可逆性差异很大：画像条目和情节记忆可以删除，过程可以修订，可执行工作流可以版本化；但有害参数更新可能需要回滚检查点或重新训练。因此，L4 的真实价值要同时衡量未来任务收益和发现、撤销坏更新的成本。

Training and Reinforcement Learning for Generation Controllers | 生成控制器的训练与强化学习

训练不决定层级

论文反复强调，层级描述的是推理时控制器能改变什么，训练描述的是这些能力如何被学习。监督微调或强化学习本身并不决定系统级别。用图像奖励优化的固定生成器可能仍是 L0；监督训练出的路由器可以是 L2；没有训练的修复循环也可能是 L3。 作者把控制器学习分为四个阶段：轨迹数据记录决策及后果，监督微调从演示中初始化行为，反馈提供信用信号，策略优化改进策略。

数据、奖励与策略

生成控制器的数据应保存请求、状态、动作、观察、资源使用和终止，而不是只保存最终图像。失败与修复轨迹尤其重要，因为它们能说明错误来自提示、检索、路由、掩码、生成器、验证器还是停止规则。长周期与跨任务系统还需要保存工具版本、时间戳、来源和回滚信息。 奖励也要区分终端偏好和过程验证。ImageReward、Pick-a-Pic 等终端奖励适合评价整体偏好，但难以判断哪一步导致成功。过程奖励应检查工具执行、约束满足、诊断与修复一致性、已接受内容保持以及继续行动是否值得成本。对于实际系统，奖励还应显式扣除计算、工具调用、交互和金钱成本。 策略优化的目标可能是固定生成器、条件策略、工作流控制器，也可能是跨任务记忆或技能更新。论文建议报告优化对象、交互方式和持久范围，避免把强生成器、大搜索预算或奖励过拟合误当作控制器进步。

Evaluation and Benchmarking | 评估与基准

分层反事实评估

本文第二个重要贡献是 level-conditioned evaluation，即按层级构造匹配反事实。目标是隔离更宽控制范围的因果价值，而不是比较工具、预算、生成器都不同的系统。 L0 问固定执行器本身能做什么，需要固定输入条件、随机种子、采样参数和候选预算。L1 问更好的规格说明是否改善同一个执行器，需要固定生成器和采样预算，只改变条件策略。L2 问控制器是否选择了更好路线，需要固定可用模型、工具、动作预算和评估器，对比固定、随机、频率或 oracle 路由。L3 问结果反馈是否导致成功修复，需要对比有无中间结果访问的开环与闭环。L4 问历史经验是否改善未来任务，需要移除、打乱、替换为陈旧或无关经验。

共同控制变量

论文提出四类共同证据。第一是决策有效性，包括约束覆盖、依赖一致性、无效调用率、参数正确性、证据相关性和记忆相关性。第二是效率与轨迹效用，包括调用次数、候选数、编辑操作、token、延迟、算力时间和金钱成本。第三是鲁棒性与恢复，包括面对无效布局、不可用工具、损坏中间结果、批评器错误或陈旧记忆时能否恢复。第四是忠实归因，即计划实体是否对应渲染区域、声称的动作是否匹配工具调用、诊断是否预测成功修复。 作者还提醒，迭代系统特别容易出现选择偏差。如果一个方法生成八个候选并报告最好结果，就不能和单样本基线直接比较。内部批评器、停止批评器和留出评估器应尽量分离，人类评价或独立验证器要审计那些内部得分上升但硬约束失效的案例。

Challenges and Future Directions | 挑战与未来方向

从声明式到可执行控制

L1 到 L2 的关键挑战是让规格策略承担执行责任。控制器不仅要写出提示或布局，还要决定是否调用检索、编辑器、3D 资产、代码运行或其他工具。这扩大了安全、隐私、许可和来源追踪风险。未来系统应把参考、模型、许可证、参数和编辑记录以机器可读方式附着到轨迹中，并在执行前做权限感知路由。

从执行到可靠反馈控制

L2 到 L3 的挑战是获得足够可靠的观察，并把观察映射到正确修复。未来反馈应结合局部多模态诊断、专门检测器、可执行检查、仿真状态、不确定性和人类升级。诊断还必须对应到可行动的区域、对象、帧区间或代码组件，否则重复生成只是在提高选择器分数，而不一定修复真实缺陷。

从当前任务状态到可复用经验

L3 到 L4 的挑战是把当前任务状态压缩为未来可用且可审计的经验。工具价格、接口、用户偏好和安全政策都会变化，旧经验可能变得有害。因此，持久记忆需要时间戳、来源、冲突检测、选择性遗忘和回滚。长视频、3D 场景和视觉故事中的长期状态仍可能只是 L3；只有当它在项目结束后改变新任务控制时，才是 L4。

生成器即控制器

论文最后展望一种可能的新范式：generator-as-controller。当前多数系统由 LLM/VLM 解释目标并选择动作，视觉生成器只执行外部条件。这会造成接口瓶颈：视觉状态被渲染、编码成语言，再转回提示或控制信号。 如果生成器本身也承担控制，它可以在产生视觉内容的同一状态上行动，把缺陷直接关联到视觉 token、潜在区域、帧区间、场景对象或生成步骤，从而缩短反馈环路、降低交互成本、提升局部修复和信用分配能力。即便如此，单模型并不自动等于智能体。统一模型必须证明其视觉状态会导致不同后续动作，并证明持久经验会改变未来任务，否则仍只是固定生成路径。

Conclusion | 总结

这篇综述最有价值的地方，是把智能体式视觉生成从一组流行关键词中解放出来，重新落到“控制器能改变哪些生成决策”这一可判定问题上。L0-L4 不是按模型规模、输出质量、工具数量或是否多智能体排序，而是按控制器因果触达的最远位置排序：从固定支持，到条件构造、执行选择、结果修复，再到跨任务经验复用。 论文的语料统计显示，近年的增长主要集中在 L3，即利用中间结果进行当前任务内修复；真正成熟的 L4 跨任务经验仍然较少。下一阶段的关键不只是更强的生成模型，而是可执行动作接口、可靠视觉验证、因果信用分配、透明资源核算、选择性长期记忆、可编辑协作状态和可审计来源记录。 从这个角度看，智能体式视觉生成代表的不是“图像生成扩展到视频或 3D”，而是计算单位的变化：从一次条件采样，变成围绕目标展开的可观察、可修复、可记忆、可评估的生成轨迹。未来的 generator-as-controller 也许会把生成、观察、工具选择、轨迹修订和经验复用统一到同一视觉策略中，但它仍必须通过分层反事实评估证明：更宽的控制范围确实带来了可归因的增益。