伯克利博士论文：用多智能体系统进行任务分解

论文标题： Task Decomposition with Multi-Agent Systems 作者： Long Lian 单位： University of California, Berkeley, EECS 导师： Trevor Darrell 技术报告： UCB/EECS-2026-123 时间： 2026 年 5 月 13 日 论文链接： https://www2.eecs.berkeley.edu/Pubs/TechRpts/2026/EECS-2026-123.pdf

导读

这篇博士论文讨论的是一个正在变得越来越重要的系统问题：当基础模型越来越强，复杂任务是否仍然需要“分解”？作者 Long Lian 给出的答案是肯定的。单个模型可以写代码、生成图像、理解视频、回答问题、做数学推理，但许多真实任务并不是简单的输入到输出映射，而是需要把目标拆成多个子问题，再让不同模块、工具、模型调用或推理线程协同完成。 论文的核心观点是：复杂任务更适合被表示为一组可交互的子问题。语言模型可以充当规划器、解析器、控制器和推理智能体；视觉模型可以负责生成、检测、描述和局部理解；并行推理线程可以分别探索不同解题路径，再把结果合并回来。这样的系统不一定是传统意义上的“多个机器人”，而是更广义的多智能体系统：多个角色、模块、调用或线程共同完成一个任务。 全文分成两条主线。第一条是语言引导的视觉生成：用 LLM 把复杂图像/视频提示分解成空间布局、动态场景布局、检测与修正操作，以及局部描述任务。第二条是自适应并行推理：让语言模型在推理时学会 fork/join，像多线程程序一样把可并行子问题分出去计算，从而改善准确率、延迟和上下文利用。 这篇论文的价值不只在于提出若干具体方法，更在于把“可控生成、局部视觉理解、并行推理”放进同一个设计原则中：AI 系统要可靠解决复杂任务，不能只依赖更大的端到端模型，还需要显式中间表示、可检查的子目标、可修正的流程，以及能够自适应分配计算的执行结构。

一、论文总览：从单体模型到协同系统

现代基础模型的能力增长很快，但论文指出，很多失败并不是因为模型完全没有知识，而是因为任务结构没有被正确表达。复杂图像提示可能包含计数、否定、属性绑定和空间关系；视频生成需要同时处理物体、时间、运动和视角；局部描述需要聚焦指定区域，同时保留全局上下文；数学推理和搜索问题则常常包含可以并行探索的分支。 如果把这些任务都压成一条单独的生成轨迹，模型很容易在某个中间环节失真。图像生成可能漏掉对象或搞错位置；视频生成可能无法保持动态一致；视觉描述可能只给出模糊全局说明；语言推理则可能耗尽上下文窗口，或把本可并行的搜索强行串行化。 作者提出的替代思路是“任务分解”。在视觉生成中，文本提示先被转化为布局、区域、边界框、动态轨迹或修正操作，再交给扩散模型执行；在语言推理中，模型不只线性生成 chain-of-thought，而是可以生成 spawn 和 join 操作，把子问题分给并行线程。 这种思路带来三个好处。第一，可控性更强，因为系统有显式中间表示，可以检查和修改。第二，可扩展性更好，因为不同子任务可以交给不同模块或线程。第三，鲁棒性更高，因为生成失败后可以检测、诊断、修正，而不是一次生成失败就结束。

二、六项核心贡献

论文围绕“任务分解与多智能体系统”给出六项研究贡献。 第一，LLM-grounded Diffusion（LMD）：将文本到图像生成分成两个阶段，先由 LLM 把复杂提示解析为带有物体、边界框、背景和负面提示的布局，再由布局引导扩散模型生成图像。 第二，LLM-grounded Video Diffusion（LVD）：把同样思想扩展到视频生成，让 LLM 生成动态场景布局，显式描述物体在时间维度上的边界框轨迹，再指导文本到视频扩散模型。 第三，Self-correcting LLM-controlled Diffusion（SLD）：把生成过程改造成“生成-检测-诊断-修复”的闭环，用外部感知模型和 LLM 控制器检查生成图与提示是否匹配，并提出潜空间修正操作。 第四，Describe Anything Model（DAM）：研究详细局部图像/视频描述，让模型针对用户指定区域生成细粒度、上下文相关的描述，并构建相应数据管线和评测基准。 第五，Adaptive Parallel Reasoning（APR）：让语言模型学习显式 spawn/join 操作，把推理树拆成可并行探索的子线程，改善固定上下文和延迟约束下的推理效率。 第六，ThreadWeaver：进一步把自适应并行推理扩展到强推理模型，使模型在标准 LLM 推理引擎上动态生成并发线程，在保持准确率的同时缩短关键路径 token 延迟。

三、语言引导的视觉生成

论文第一部分关注视觉任务。其共同思想是：视觉生成不应该只依赖自然语言提示直接驱动扩散模型，而应该引入显式结构，让语言模型先把用户意图整理成可执行、可检查的中间形式。

复杂提示为什么难

图像扩散模型在普通提示上表现很好，但遇到否定、计数、属性绑定和空间关系时仍容易出错。例如，“桌上没有香蕉”可能仍生成香蕉；“草地上有三只猫”可能数量不对；“红衣男子站在蓝衣女子旁边”可能把颜色或人物关系绑定错；“三个苹果排成 L 形”也可能不满足空间约束。

这类错误说明，大模型并不只是需要更漂亮的生成质量，还需要更明确的结构控制。用户真正关心的是对象、属性、位置和关系是否满足要求，而这些信息如果只隐含在文本 embedding 中，就很难被稳定执行。

LMD：把提示转成布局

LMD 的做法是把文本到图像生成拆成两步。第一步，LLM 读取用户提示，输出结构化图像布局，包括每个前景物体的 captioned bounding box、背景描述，以及可选负面提示。第二步，布局引导的扩散控制器使用这些边界框和描述，约束图像生成过程。

这个设计的关键在于训练自由：方法可以使用现成 LLM 和扩散模型，不需要重新训练底层生成模型。LLM 在这里不是直接生成图像，而是承担规划器角色；扩散模型不是自由发挥，而是在布局约束下完成视觉合成。 这种分解让系统更可解释。如果生成失败，研究者可以检查是 LLM 生成的布局错了，还是布局到图像的执行阶段错了。相比端到端黑箱生成，这种中间表示为调试、交互式修改和多轮编辑提供了接口。

LVD：把图像布局扩展到视频动态布局

视频比图像更难，因为它不只涉及空间位置，还涉及时间连续性、物体运动、相互作用和视角变化。LVD 将文本到视频生成分成两阶段：LLM 先生成动态场景布局（Dynamic Scene Layouts，DSL），描述对象在不同帧中的边界框；随后 DSL-grounded video generator 在扩散生成过程中施加约束。

论文强调，LLM 即使不是视频生成器，也能提供有用的时空结构。例如，面对物体移动、弹性、重力、透视等提示，LLM 可以根据少量示例输出合理轨迹。底层视频扩散模型则在 DSL 的约束下生成更符合文本的运动结果。 这说明语言模型的角色可以从“聊天接口”扩展为“任务规划器”。它不负责所有计算，而是把复杂目标翻译成下游模型可以执行的结构。

SLD：从一次生成到自校正闭环

LMD 和 LVD 关注的是生成前的结构规划，而 SLD 进一步引入生成后的自校正。系统先生成图像，再用开放词汇检测器和 LLM 解析器检查提示中的关键对象是否出现、数量是否正确、位置是否匹配。若发现错误，LLM 控制器输出新的边界框或修正意图，并转化为潜空间操作。

这里的任务分解更像一个闭环智能体系统：解析器负责理解指令，检测器负责观察世界，控制器负责提出修正，扩散模型负责执行修改。这样的流程可以处理对象增加、删除、移动、缩放、属性修改等编辑任务。 更重要的是，SLD 把“生成失败”变成一个可以被诊断和修复的问题。对于需要高可靠性的视觉工作流，单次采样不够，系统必须能够检查输出是否满足约束，并在失败时进行可控修正。

DAM：详细局部描述作为视觉分解接口

论文第五章转向视觉理解：Describe Anything Model 关注如何对用户指定的图像或视频区域生成详细局部描述。普通图像 caption 往往描述整张图，容易忽略局部对象的细节；而许多应用需要知道某个区域中的对象、属性、状态、动作和上下文。

DAM 使用 focal prompt 表示用户指定区域：既保留整图上下文，又对目标局部区域分配更高 token 密度。模型通过局部视觉骨干、全局特征和门控交叉注意力，把局部细节与全局上下文结合，再交给语言模型生成描述。 这项工作与前面的生成方法形成互补。LMD、LVD、SLD 需要结构化视觉监督来控制生成；DAM 则可以产生区域级详细描述，用于数据生成、可访问性、局部理解和可控合成评估。作者还提出 DLC-Bench，用于评估详细局部描述，避免传统 reference caption 不完整导致的误判。

四、为什么显式视觉结构仍然重要

论文第六章反思了一个问题：既然现代图像和视频生成器越来越强，LMD、LVD、SLD 这样的显式结构方法是否还必要？ 作者的回答是：如果目标只是生成一张“看起来不错”的图，直接提示可能已经足够；但如果目标是生成“正确”的图像、可控视频、可编辑场景、可检查数据或区域级描述，显式结构仍然重要。越是涉及计数、空间关系、时间约束和局部语义，越需要把用户意图转成可验证的中间表示。 这也是整篇论文前半部分的统一结论：视觉智能不只是更强的生成器，还需要语言、视觉和控制之间的显式接口。中间结构让系统可以规划、执行、检查和修正，而不是把所有责任都交给一次端到端采样。

五、自适应并行推理

论文第二部分把“任务分解”从视觉生成迁移到语言模型推理。核心问题是：语言模型推理为什么必须是一条串行文本轨迹？很多难题天然包含多个可探索分支，如果把它们强行压进一条 chain-of-thought，就会增加延迟、消耗上下文，并限制搜索空间。

APR：让模型学会分叉与合并

Adaptive Parallel Reasoning（APR）引入显式 spawn 和 join 操作。模型可以在推理过程中启动子线程，让不同线程并行探索不同子问题；子线程结束后，把摘要返回主线程，主线程再继续推理。

这类似把推理过程从“一条长链”改成“一棵可并行遍历的树”。在 Countdown 等任务中，模型可以把不同运算路径分给不同线程，避免一个线程耗尽上下文窗口。实验显示，APR 在增加测试时计算预算时，比简单 Best-of-N 或串行搜索更有效地利用计算。 这里的关键不是盲目并行，而是自适应并行。模型需要学会什么时候值得分叉，分叉几个线程，每个线程解决什么，最后如何合并结果。这本质上是一种计算资源分配问题。

ThreadWeaver：把并行推理带到强推理模型

ThreadWeaver 进一步研究如何让强推理 LLM 在标准推理引擎上进行自适应多线程推理。相比普通顺序推理，ThreadWeaver 让模型动态生成并发线程，多个线程处理不同子任务，再合并为最终答案。

论文指出，复杂推理的延迟通常由关键路径决定。顺序模型逐 token 生成，额外算力很难直接降低延迟；ThreadWeaver 则把某些子问题并行化，用更多计算换取更短关键路径。作者在数学推理基准上显示，ThreadWeaver 可以接近顺序强化学习基线的准确率，同时降低关键路径 token 延迟，并在部分问题上取得明显加速。 ThreadWeaver 的工程价值在于它不要求重写底层推理引擎。通过特定轨迹格式、训练数据构造和推理时请求调度，模型可以在普通 LLM API/推理服务上模拟 fork-join 结构。这让并行推理从一个概念变成更可部署的系统形式。

六、统一观点：多智能体不是堆模型，而是组织计算

这篇论文中的“多智能体”不是简单地把多个模型串起来，也不是让多个聊天机器人互相投票。更准确地说，它研究的是如何组织计算：哪些部分由 LLM 规划，哪些部分由视觉模型执行，哪些部分由检测器验证，哪些部分由推理线程并行探索。 在视觉任务中，多智能体表现为解析器、布局生成器、扩散控制器、检测器、修正器、局部描述器之间的协同。在推理任务中，多智能体表现为父线程、子线程、并行分支和合并节点之间的协同。二者看似不同，但背后的思想一致：复杂任务需要可分解、可检查、可组合的执行结构。 这也解释了为什么论文标题是“Task Decomposition with Multi-Agent Systems”，而不是某个单一模型名称。作者真正关心的是一种 AI 系统范式：模型能力越强，越需要好的任务表示和计算调度，把复杂目标拆成模型能够可靠完成的步骤。

七、未来方向

论文最后讨论了若干开放问题。首先，任务分解需要更可靠的中间表示。视觉布局、动态场景、局部描述和并行推理轨迹都可能出错，系统必须能验证这些中间结果，而不能默认它们总是正确。 其次，多智能体系统需要更好的信用分配。生成失败时，是规划错了、执行错了、检测错了，还是修正策略错了？并行推理失败时，是子线程探索方向错了，还是合并策略错了？没有清晰诊断，就很难稳定改进系统。 第三，效率与可靠性需要共同优化。任务分解会引入额外调用、额外模块和额外状态，不能只看准确率，还要看延迟、成本、内存、可维护性和部署复杂度。ThreadWeaver 的意义就在于把并行推理与实际推理引擎约束放在一起考虑。 第四，未来的多智能体系统需要更强的自适应能力。系统不应固定执行同一套流程，而应根据任务难度、约束类型和当前不确定性决定是否分解、如何分解、调用哪些工具、分配多少计算。

八、结语

这篇 Berkeley 博士论文把视觉生成、局部视觉理解和语言模型并行推理放在同一条主线上：复杂 AI 任务的关键，不只是更大的模型，而是更好的任务分解。语言模型可以规划，视觉模型可以执行和感知，外部模块可以验证，推理线程可以并行搜索；当这些角色被组织成协同系统时，模型就更有机会解决单体生成难以稳定完成的任务。 从 LMD 到 LVD、SLD、DAM，再到 APR 和 ThreadWeaver，论文展示了一条清晰路线：把隐式意图变成显式结构，把一次性生成变成可检查流程，把串行推理变成可并行计算。对于正在走向真实部署的 AI 系统，这种“组织计算”的能力，可能会和模型规模本身一样重要。