博士论文 | 可扩展、自我改进的大语言模型智能体

导读

大语言模型智能体的研究重心，正在从“模型本身有多强”转向“系统如何长期、低成本、可验证地行动”。UC Berkeley 博士论文《Toward Scalable and Self-Improving Large Language Model Agents》围绕这一问题给出了一条非常系统的路线：如果把智能体看成由模型、上下文、工具调用、并行搜索和自我评估共同组成的系统，那么它的能力瓶颈就不再只是参数规模，而是计算如何被组织。 论文将可扩展智能体拆成四个互相支撑的方向：第一是高效模型基础，降低每一步计算的边际成本；第二是顺序扩展，让模型在更长文本和更长视频中保持有效推理；第三是并行扩展，让模型学会把推理任务拆成多个线程并协调结果；第四是递归扩展，让模型不仅生成答案，还能判断、比较并把判断转化为训练信号。围绕这四条主线，论文整合了 Q-Diffusion、SparseLoRA、LLoCO、STORM、Adaptive Parallel Reasoning 和 V1 等一组工作，形成了面向下一代 LLM Agent 的完整技术图景。

论文信息

论文标题：Toward Scalable and Self-Improving Large Language Model Agents 作者：Xiuyu Li 单位：University of California, Berkeley 类型：博士论文 / Berkeley EECS Technical Report UCB/EECS-2026-213 导师委员会：Kurt Keutzer、Alane Suhr、Zhijian Liu 发布时间：2026 年 5 月 20 日 论文链接：https://www2.eecs.berkeley.edu/Pubs/TechRpts/2026/EECS-2026-213.pdf

从模型能力到智能体系统能力

过去几年，大语言模型从对话助手快速演化为能够分步推理、编写并执行代码、调用软件接口、处理多模态输入的通用智能体。论文指出，在这种范式下，真正决定智能体性能的约束已经越来越“系统化”：模型一次能处理多长的上下文？推理时计算预算是串行展开还是并行探索？模型能否可靠判断自己输出的正确性？每增加一单位计算，成本是否足够低？ 因此，作者没有把博士论文组织成单一算法的扩展，而是提出一个更宏观的智能体扩展框架。其核心思想是：智能体能力来自多个维度的共同扩展，而不是某一个维度的线性放大。 具体来说，论文将贡献分为四类。 第一，高效模型基础。智能体每一次生成、检索、视觉编码、验证或工具调用都依赖底层模型计算，如果模型压缩、微调和推理效率不足，后续的长上下文、并行搜索和自验证都会变得昂贵。 第二，顺序扩展。很多智能体任务不是一次短提示即可完成，而是需要处理长文档、长代码库、长视频或长时间轨迹。顺序扩展关注如何在更长的输入序列中保留关键信息，同时控制 token 和延迟。 第三，并行扩展。复杂推理往往存在多个可能路径。传统自回归解码天然串行，容易在一条路径上越走越深。并行扩展希望模型学会在不同推理分支之间分配预算，减少重复探索并提高成功率。 第四，递归扩展。智能体不仅要生成候选答案，还要能评价这些候选答案。更进一步，评价结果应当反过来成为训练信号，使同一个模型的生成能力和验证能力共同进化。

高效基础：Q-Diffusion 与 SparseLoRA

论文第一部分讨论“高效模型基础”。这里的重点不是单纯追求模型更小，而是降低后续所有智能体计算的单位成本。作者分别从扩散模型量化和大语言模型微调两个方向展开。 Q-Diffusion 面向扩散模型的训练后量化问题。传统训练后量化常假设校准样本与推理时输入分布较稳定，但扩散模型的反向去噪过程会跨多个时间步迭代执行，量化误差会在时间维度上累积。Q-Diffusion 的关键是构造更符合扩散推理过程的校准数据，并针对多时间步推理中的误差累积设计量化方案，从而在不重新训练的情况下将大型扩散模型推向 4-bit 权重量化。

SparseLoRA 则关注 LLM 微调效率。LoRA 等参数高效微调方法降低了显存和训练门槛，但并不必然降低计算量。SparseLoRA 利用上下文稀疏性，在每个输入 token 上动态选择需要激活的子网络。它先通过离线 SVD 分解构建稀疏估计器，微调时再按输入内容选择重要权重通道，只对主分支应用稀疏计算，同时保留 LoRA 分支的快速更新能力。

这两项工作共同支撑了论文的底层逻辑：如果智能体未来需要更长轨迹、更多候选、更多自验证和更多工具调用，那么基础模型的每一步计算都必须足够便宜。否则，系统层面的扩展会很快被推理成本吞没。

顺序扩展：长上下文与长视频理解

论文第二部分讨论顺序扩展，即智能体如何沿着更长的输入和时间轴进行推理。这里有两个代表工作：LLoCO 和 STORM。 LLoCO 面向长文本上下文压缩。常见长上下文方案要么直接扩展上下文窗口，要么通过检索增强生成引入相关片段，但在超长文档问答、摘要和跨段落推理中，完整上下文会带来极高 token 成本。LLoCO 将长上下文先由上下文编码器压缩成较短的摘要 token 嵌入，再通过参数高效微调让 LLM 学会使用这些压缩表示。论文将其比喻为“闭卷考试中的小抄”：模型不再携带完整教材，而是先学习如何把材料压缩成可用表示，再在回答问题时读取这份压缩表示。

论文报告显示，LLoCO 能将 4k LLaMA 模型的有效上下文扩展到 128k token，并在推理阶段使用约 30 倍更少的 token。这一点对智能体尤其重要，因为真实任务往往包含长文档、长代码库、历史交互和工具输出。如果每一步都把全部上下文塞回模型，系统很难长期运行。 STORM 则把顺序扩展推进到长视频理解。视频理解的难点在于，逐帧视觉 token 极易爆炸，而很多关键事件只在短时间窗口出现。STORM 在图像编码器和 LLM 之间加入基于 Mamba 的时序投影器，通过双向时空扫描把时间信息直接融入压缩视觉 token。这样，模型既能降低视频 token 数量，又能保留跨帧动态变化。!

LLoCO 和 STORM 共同回答了一个问题：智能体并不是只面对短文本提示，它需要在长文档、长视频、长交互历史中持续提炼信息。顺序扩展的目标不是无限增加窗口，而是在信息压缩、任务相关性和推理可用性之间取得平衡。

并行扩展：让模型学会分配推理预算

第三部分聚焦 Adaptive Parallel Reasoning。传统推理时扩展常见做法是 Best-of-N、树搜索或多轮自一致性，它们通过生成更多候选提升正确率。但这类方法往往把并行性放在系统外部：人为设定采样数量、分支结构或聚合策略，模型本身并不知道何时应该继续串行推理，何时应该开启分支。 Adaptive Parallel Reasoning 的目标是让一个 LLM 学会管理自己的推理线程。方法引入父线程和子线程机制：父线程在推理过程中可以生成 spawn 命令开启子线程，让不同子线程并行探索不同候选路径；子线程完成后再通过 join 操作把结果摘要回传给父线程。相比单一路径的串行搜索，这种机制可以在相同或更低延迟下更广地探索解空间。

论文的关键点在于，APR 不是简单写死一个并行搜索模板，而是通过监督训练和端到端强化学习让模型学习何时分支、分多少支、如何合并结果。实验中，强化学习不仅提升了准确率，也改变了模型的计算使用方式：模型会策略性增加子线程数量，更倾向于“拓宽搜索”而非只延长单条推理链。 这一部分对智能体研究很有启发。很多复杂任务并不是缺少推理 token，而是缺少合理的计算调度。如果模型只会沿着一条链路自回归展开，它可能在错误路径上消耗大量预算。APR 把推理计算本身变成可学习对象，让模型把并行度作为能力的一部分来掌握。

递归扩展：统一生成与自我验证

第四部分是 V1，讨论智能体如何把“生成答案”和“验证答案”统一起来。现有很多方法把 LLM-as-a-Judge 或 self-verification 当作后处理步骤：先生成多个答案，再让模型逐个打分或聚合。但论文指出，点式自验证容易校准不足，自聚合方法也可能导致多样性坍缩，即在多轮聚合中丢弃少数但正确的候选答案。 V1-Infer 的思路是把自验证改成成对比较。与其让模型孤立地判断某个答案是否正确，不如让模型比较两个候选中哪一个更可信。成对比较降低了判断难度，也更适合在一组并行候选中逐步筛选最优解。论文将这一过程称为 Swiss Refinement：随着成对验证次数增加，候选解之间的相对排序逐渐变得更清晰，模型更容易选出高质量答案。

进一步地，V1-PairRL 将生成和验证纳入统一强化学习框架。同一个 LLM 既作为生成器产出多个候选解，也作为成对验证器比较候选质量。由于代码生成、数学推理等任务可以通过测试用例或标准答案获得可验证信号，模型不仅能从正确解获得生成奖励，也能从比较判断的正确性中获得验证奖励。

这部分是论文“自我改进”主题的核心。普通推理时扩展只是把更多计算用于生成更多候选；V1 试图让这些候选之间的比较结果反过来改善模型本身。换言之，智能体不只是“多试几次”，还要从自己多次尝试的对错关系中学会更可靠地判断。

统一视角：四种扩展如何组合成智能体路线图

把整篇论文连起来看，它提出的并不是六个彼此独立的方法，而是一套层层递进的智能体系统路线图。 高效基础解决“每一步贵不贵”。Q-Diffusion 和 SparseLoRA 分别从模型压缩和微调计算出发，降低大模型系统部署和适配成本。 顺序扩展解决“能看多长”。LLoCO 和 STORM 让模型在长文本和长视频中压缩、保留并利用关键信息，避免上下文长度成为智能体长期运行的硬瓶颈。 并行扩展解决“能否探索多条路”。APR 把推理预算调度变成可学习能力，使模型能在串行链式推理与并行分支搜索之间动态切换。 递归扩展解决“能否判断自己”。V1 让模型从生成候选、比较候选、学习比较中形成闭环，把测试时计算转化为更可靠的训练信号。 这四个方向也对应着 LLM Agent 的四个核心问题：成本、记忆、搜索和反馈。只扩大模型参数，无法自动解决这些系统问题；而只做外部工程编排，也难以让模型真正学会管理计算、上下文和自我评估。论文的价值正在于，它把这些问题放在一个统一框架中讨论。

对未来智能体研究的启示

第一，智能体扩展需要从“堆 token”转向“组织计算”。无论是长上下文、长视频、并行推理还是自验证，本质上都在讨论有限计算预算如何分配。未来智能体系统的性能，很可能取决于它能否在任务过程中动态决定看什么、想多久、分几路、信谁。 第二，自我验证可能成为自我改进的关键接口。模型是否能评价自己的输出，不只是推理阶段的后处理技巧，也可能成为训练阶段的重要信号来源。成对比较、可验证任务和在线强化学习的结合，为“生成-验证-学习”闭环提供了可操作路径。 第三，多模态和长程任务会持续放大系统瓶颈。长视频、长文档、代码仓库、交互日志和工具轨迹都要求模型处理跨时间的信息。仅依赖更长上下文窗口并不经济，压缩表示和任务相关信息选择将变得越来越重要。 第四，智能体架构会越来越像可学习的运行时系统。APR 中的线程生成与合并、LLoCO 中的上下文压缩、V1 中的候选比较，都让模型不仅是“回答器”，也是计算流程的参与者。未来的智能体可能需要同时学习任务知识和运行策略。

总结

《Toward Scalable and Self-Improving Large Language Model Agents》提供了一种观察大语言模型智能体的新方式：真正可扩展的智能体，不只是更大的模型或更长的提示，而是一个能以低成本处理长序列、能并行探索复杂问题、能验证自身输出并从验证中学习的系统。 这篇博士论文的贡献在于，它把高效基础、顺序扩展、并行扩展和递归扩展放进同一个研究框架中。Q-Diffusion 和 SparseLoRA 降低基础计算成本；LLoCO 和 STORM 扩展长上下文与长视频理解；Adaptive Parallel Reasoning 让模型学习推理预算调度；V1 则把生成与自验证统一为可训练闭环。对于关注 LLM Agent、测试时计算、自我改进、多模态长程推理的研究者来说，这篇论文是一个很好的系统性参考。