博士论文 | 通用智能机器人：从大规模模仿学习到跨本体与长期记忆

论文题目：Building Generally Intelligent Robots 作者：Homer Walke 机构：University of California, Berkeley 技术报告：UCB/EECS-2026-267 时间：2026 年 8 月 14 日 论文链接：https://www2.eecs.berkeley.edu/Pubs/TechRpts/2026/EECS-2026-267.pdf

导读

这篇 Berkeley 博士论文讨论的是一个非常核心的问题：如果语言和视觉领域已经可以通过大规模数据与通用模型获得“基础模型”式泛化，那么机器人能否沿着类似路径，训练出能跨任务、跨环境、跨机器人本体运行的通用智能体？ 论文的答案不是简单地把大模型搬到机器人上，而是把问题拆成四个层次：首先，机器人学习需要足够覆盖任务、物体和环境变化的数据；其次，策略网络本身要能同时处理语言、目标图像、多视角观察和连续动作；再次，一个真正通用的机器人策略不能只绑定单臂机械臂，而要支持双臂、移动机器人、四足机器人等不同本体；最后，真实任务通常不是几秒钟的反射动作，而需要记住长期上下文，因此通用策略还必须具备可扩展的记忆机制。 围绕这条主线，论文依次介绍 BridgeData V2、Octo、CrossFormer 和 MEM。BridgeData V2 强调数据覆盖；Octo 给出开源通用机器人策略架构；CrossFormer 探索单一策略控制多种机器人本体；MEM 则为视觉-语言-动作模型加入从秒级到分钟级的多尺度记忆。它们共同构成了作者对“通用智能机器人”路线的阶段性回答：数据、架构、本体泛化和记忆缺一不可。

Introduction | 引言

机器人基础模型为什么难

大规模模仿学习提供了一条看似直接的路径：收集大量人类示范，用统一模型学习从观测到动作的映射，再期望模型像语言和视觉基础模型一样泛化到新任务和新场景。问题在于，机器人数据远比文本和图像更难获得。每条轨迹都需要真实设备、传感器、执行器、场地和人工操作；数据分布不仅包括语义目标，还包括物体位置、相机视角、摩擦、碰撞、夹爪状态和执行误差。 更棘手的是，机器人策略需要同时满足两个看似冲突的条件。一方面，它必须有足够容量来容纳异构数据：不同相机、不同动作空间、不同任务描述、不同机器人形态。另一方面，它又必须在真实控制闭环中足够高效，能够实时输出动作，不能像离线文本生成那样容忍高延迟。

论文的四个贡献

作者将博士论文组织为四个主要研究贡献。第一部分关注数据，提出 BridgeData V2，展示如何用低成本硬件和多样任务收集适合泛化研究的机器人操纵数据。第二部分提出 Octo，一个基于 Transformer 的开源通用机器人策略，在 80 万条机器人示范上预训练，并能通过语言或目标图像进行条件控制。第三部分提出 CrossFormer，把通用策略扩展到跨机器人本体场景，让单一模型处理单臂、双臂、导航和四足等数据。第四部分提出 MEM，为视觉-语言-动作模型加入多尺度具身记忆，使机器人能够完成需要长时间上下文的任务。 从整体看，这篇论文并不把“通用智能机器人”视为单个模型指标，而是视为一套系统能力：能收集并利用大规模数据，能适配新机器人和新环境，能跨本体共享知识，并能记住长期任务过程。

Collecting Robot Data for Generalization Research | 面向泛化研究的机器人数据采集

数据覆盖是第一瓶颈

机器人泛化研究常被两个问题卡住：数据规模太小，以及评测过于接近训练分布。一个策略如果只在少数桌面、少数物体和少数动作上训练，即便在本地实验里表现不错，也很难判断它是否真正学到了可迁移的操纵能力。 BridgeData V2 的目标是提供一个更适合研究泛化的数据集。它扩展自原始 Bridge Dataset，包含 50,365 条专家示范和 9,731 条脚本策略轨迹，总计 60,096 条轨迹。数据覆盖 13 类技能、24 个环境和超过 100 个物体，规模超过原始 Bridge Dataset 的 7 倍。

数据如何被设计

BridgeData V2 的重点不是单纯堆轨迹数，而是围绕泛化变量组织数据。论文把任务覆盖分成不同技能类型，例如物体操纵、布料操纵、积木堆叠、颗粒扫拢、混合物体与环境操纵等；环境则覆盖玩具厨房、桌面、玩具水槽以及其他场景。这样的设计使研究者可以分别考察新物体、新环境以及二者组合变化下的策略表现。 在学习方法上，论文验证了数据集对多种离线方法的支持，包括目标条件行为克隆、语言条件行为克隆，以及离线强化学习。目标条件方法用未来观测或目标图像指定任务，语言条件方法则通过自然语言指令描述任务。两类方法对应机器人基础模型中常见的两种接口：看图做事和听指令做事。

泛化实验说明了什么

实验显示，更大的模型、更大的训练集和更高的数据多样性都会带来更好的泛化表现。尤其是在未见物体和未见环境上，BridgeData V2 的多样性能够显著提升策略能力。论文还观察到技能之间存在正迁移：在多种相关操纵技能上共同训练，往往比只用窄分布数据训练更有利。 这一章给后文奠定了一个关键前提：通用机器人策略不是只靠架构就能产生。没有覆盖足够多任务和场景的数据，模型容量再大也很容易学到狭窄捷径。

Designing a Generalist Robot Policy | 设计通用机器人策略

通用策略的核心思想

在数据基础之上，论文提出 Octo，一个开源通用机器人策略。Octo 的目标是成为机器人领域的“可微调基础模型”：先在大规模多样机器人数据上预训练，再作为新任务、新机器人和新观察模态的初始化。 Octo 使用 Transformer 作为主干。它把任务描述和机器人观测都转成 token：任务可以来自语言指令，也可以来自目标图像；观测可以来自不同相机视角，也可以包含本体状态。模型再通过动作头输出连续控制动作，其中论文强调扩散式动作解码对机器人连续动作建模尤其重要。

预训练数据与模型规模

Octo 在 Open X-Embodiment 数据集中筛选出的 25 个数据集上训练，总量约 80 万条机器人示范。论文指出，相比一些早期通用机器人策略使用的较窄训练混合，Octo 的预训练数据更加多样，覆盖更多机器人操纵设置。 作者发布了两个主要检查点：Octo-Small 约 2700 万参数，Octo-Base 约 9300 万参数。这个规模远小于许多大型视觉语言模型，但对实时机器人控制更实际。模型设计上的一个关键取舍是让输入和输出接口可替换：预训练时没有见过的相机、本体状态或动作空间，可以在微调阶段接入新的 tokenizer 或 action head，而不是重写整个策略。

零样本控制与微调结果

论文在 4 个机构、9 个真实机器人设置上评估 Octo。零样本评测中，Octo 可以直接控制来自预训练分布内的多种机器人任务。在自然语言条件控制下，Octo 相比开源通用机器人策略 RT-1-X 平均成功率高 29%；在 WidowX 和 RT-1 Robot 任务上，它与更大规模的 RT-2-X 表现相近。

更重要的是微调场景。面对新任务和新机器人时，Octo 作为初始化显著提高数据效率。论文报告，在 6 个评测设置中，微调后的 Octo 平均比次优基线高 52%。这说明大规模预训练并不只是带来“开箱即用”的能力，更重要的是把策略参数推到一个更容易适应新场景的位置。

设计取舍

消融实验表明，Octo 的性能来自多项设计共同作用：视觉 Transformer 主干、足够多样的训练数据、扩散动作头、模型规模和灵活的输入输出接口都很关键。论文也诚实指出了边界：Octo 仍主要围绕单臂和双臂操纵展开，零样本能力在分布外技能上会下降，对腕部相机等细粒度视觉输入的利用仍有改进空间。 这部分的意义在于，Octo 把“机器人基础策略”从概念推进到可复现系统：数据混合、架构、训练目标、检查点和微调方式都被明确下来。

Controlling Multiple Robot Embodiments with a Single Policy | 用单一策略控制多种机器人本体

为什么要跨本体

如果一个通用机器人策略只能控制同一类机械臂，那么它距离“通用”仍然很远。现实中的机器人形态差异巨大：单臂机械臂、双臂机器人、移动底盘、四足机器人在传感器、动作维度、控制频率和任务目标上都不同。跨本体学习的难点在于，不能简单把所有观测和动作强行映射到同一个固定向量。 CrossFormer 针对这一问题扩展了 Octo 式架构。它允许不同本体拥有不同观察 token 和动作头，同时最大化 Transformer 主干的参数共享。这样，模型既保留了跨机器人共享知识的通道，又避免把不兼容的动作空间硬塞到一起。

数据混合与评测设置

CrossFormer 使用来自 Open X-Embodiment 等来源的跨本体数据混合，覆盖 20 种机器人本体，包括单臂操纵、双臂操纵、导航平台和四足机器人。论文关心的不是让所有机器人执行同一个动作，而是让同一个策略框架能根据不同输入输出接口完成各自任务。

在真实评测中，CrossFormer 平均成功率为 73%，同架构但只用单机器人数据训练的基线为 67%，最佳已有方法平均为 51%。这说明跨本体联合训练至少没有造成明显负迁移，并在多个设置中达到或超过专门训练的策略。

边界与启示

论文对 CrossFormer 的结论相对克制：它展示了跨本体统一策略的可行性，也出现了正迁移迹象，但还不能宣称跨所有本体都稳定产生强正迁移。当前结果更像是一个重要门槛被跨过：一个模型可以在结构上容纳多种机器人，并在真实任务上保持竞争力。 这一章给通用机器人路线补上了“本体泛化”维度。未来如果机器人基础模型要真正成为通用平台，它必须能够吸收来自不同硬件的数据，而不是为每种机器人重新训练一套孤立模型。

Adding Memory to a Generalist Robot Policy | 为通用机器人策略加入记忆

仅靠当前观测不够

前几章中的策略主要处理短时间窗口内的观测。可是很多真实任务需要长期上下文：机器人可能要先打开抽屉，再把物体放进去；可能要根据几分钟前看到的位置寻找工具；也可能要根据一次失败的抓取尝试调整下一次策略。把所有历史帧直接输入大模型会迅速带来计算和延迟问题，尤其在高维视频观测下不可扩展。 MEM 的核心目标就是为视觉-语言-动作模型提供长时记忆，同时保持实时控制可行。它采用多尺度设计：长时语义事件用语言记忆压缩，短时密集视觉变化用视频编码器压缩。

多尺度记忆机制

MEM 将策略分成高层和低层。高层策略负责更新语言记忆，把过去发生的关键事件总结成可读文本，例如已经完成哪些子任务、物体被移动到哪里、之前尝试是否成功。低层策略则根据当前目标、短期视频记忆和高层给出的子任务指令输出连续动作。 这种设计的优势在于，模型不必把数分钟的视频全部塞进上下文。语言记忆保留长期语义状态，视频编码器保留近距离操纵所需的细节。论文实验中，观察记忆最长覆盖 18 帧和 54 秒，而任务整体可扩展到 15 分钟量级。

长时任务与上下文适应

实验任务包括整理厨房、按配方准备物品、清理空间等长时操纵场景。结果显示，没有记忆的强基线在这些任务上表现有限；只用文本记忆或只用视频记忆也不充分。完整 MEM 在多个长时任务上明显提升任务进展，说明语义级长期记忆和视觉级短期记忆具有互补性。

MEM 还展示了上下文内适应能力。例如机器人可以根据先前抓取失败或环境变化，调整抓取高度、打开方向或后续操纵方式。这类能力对真实部署非常重要，因为机器人不可能每次都面对完全静态、一次成功的环境。

这一步补上的能力

如果说 Octo 和 CrossFormer 解决的是“会不会做”和“能不能换机器人做”，MEM 解决的就是“能不能在一个长任务里持续做下去”。对通用智能机器人而言，记忆不是附加功能，而是从短片段反应走向长时任务执行的关键条件。

Conclusion | 结论

论文给出的路线

这篇博士论文给出的路线可以概括为四句话：用覆盖足够丰富的数据定义泛化问题；用可扩展 Transformer 策略吸收多源机器人示范；用跨本体架构让单一模型适配多种机器人；用多尺度记忆让策略从短时控制走向长时任务。 BridgeData V2 解决数据基础，Octo 解决通用策略预训练，CrossFormer 解决多本体统一控制，MEM 解决长期上下文。四者不是彼此独立的项目，而是通向通用智能机器人的连续阶梯。

仍然开放的问题

论文也留下了清晰的开放问题。第一，机器人数据规模仍远小于语言和视觉数据，如何低成本、高质量、持续地收集多样交互数据仍是核心瓶颈。第二，跨本体迁移虽然可行，但不同机器人之间何时正迁移、何时负迁移，还需要更系统的理论和评测。第三，长期记忆目前仍依赖相对结构化的语义压缩，如何在开放环境中维持稳定、可纠错、可追溯的记忆仍未完全解决。第四，真实部署还涉及安全、鲁棒性、异常恢复和人机协作，这些问题很难只靠离线模仿学习解决。 总体而言，这篇论文的价值在于把“通用智能机器人”从抽象愿景拆成可实验、可复现、可扩展的工程路径。它展示了当前机器人基础模型已经能在数据规模、模型结构和真实评测上迈出坚实一步，同时也提醒我们：机器人智能的难点不只是理解世界，还在于持续、可靠、低延迟地改变世界。