导读

世界模型为什么受到关注？一个直观的回答是：智能体不仅需要知道“下一步做什么”，还应当判断“做了之后会发生什么”。但这两个问题并不等价。能生成逼真视频的模型，未必知道动作如何改变环境；能够完成示范任务的策略，也未必拥有可用于推演其他行动的显式模型。 俄亥俄州立大学 Zhihui Zhu 的论文《An Introduction to World Models for Generalist Agents》，从序贯决策出发，将控制、状态估计、系统辨识、强化学习、视频预测与语言模型放入同一框架。它的价值不在于宣称某条技术路线已经解决通用智能，而在于解释不同方法究竟预测什么、依赖哪些信息，以及学到的知识如何转化为行动。 本文按原论文四个主要章节及其小节组织，保留关键概念、方法联系与适用边界。需要说明：原文定位是概念性入门，不是穷尽文献的系统综述，也没有提出新的统一实验基准或性能排名。 论文信息：作者 Zhihui Zhu；单位为俄亥俄州立大学计算机科学与工程系；arXiv 编号 2610.30789。 论文链接：摘要与版本信息；完整论文 PDF。

1 引言（Introduction）

传统智能体通常在固定环境、固定任务中训练。通用智能体则面向不同环境与目标，需要把已有经验转化为可复用的决策能力。机器人接触到的新物体、不同房间的布局变化，或网页任务中的新交互规则，都可能要求智能体超越对训练轨迹的简单复现。 论文采用较宽的世界模型定义：**能够捕捉环境部分结构、状态或动态，并服务于理解、预测或决策的学习表示。**因此，世界模型不必复制整个世界，也不必重建每个像素；预测状态转移的动力学模型是重要类型，但不是唯一形式。 相应地，策略回答“在当前信息和任务条件下选择什么动作”，世界模型回答“环境的某些方面是什么、如何演化”。二者是不同能力，却可以共享表示、训练信号或网络结构。有效策略可能隐式利用环境知识，但这不能直接证明它包含可显式查询、可靠推演的动力学模型。

图1：世界建模与策略学习的统一视图。无动作标签的图像、视频与带动作标签的交互轨迹提供互补经验；学到的知识可以支持在线规划、模拟经验中的策略改进，或直接策略执行。来源：原文图1，第3页；保留原图内容。 图1展示了全文的主线：被动观测与交互经验进入世界建模和策略学习，前者可以提供模拟器或规划依据，后者可以直接执行动作。两条路线既可分开训练，也可联合学习。判断方法价值的落点，是跨环境、跨任务的有效行为，而不只是预测结果是否“看起来像真的”。

2 通用智能体：序贯决策视角（Generalist Agents: A Sequential Decision-Making Perspective）

2.1 一般表述：部分可观测马尔可夫决策过程

论文用部分可观测马尔可夫决策过程描述智能体与环境的闭环。隐藏状态记为 sₜ，动作记为 aₜ，观测记为 oₜ；环境 e 决定状态转移和观测机制，任务 g 决定要完成的目标。 状态转移：p(sₜ₊₁ | sₜ, aₜ, e)。 观测生成：p(oₜ | sₜ, e)。 交互历史：hₜ = (o₀, a₀, …, aₜ₋₁, oₜ)。 策略：π(aₜ | hₜ, g)。 这里有三点容易混淆。第一，摄像头图像不等于完整状态，物体被遮挡、速度不可直接观测，都需要历史帮助推断。第二，公式条件中出现环境 e，不意味着智能体事先知道环境身份或参数。第三，即使物理状态可见，当动力学未知时，过去的状态转移仍能帮助识别环境。

图2：通用智能体的部分可观测交互闭环。智能体依据历史和任务选择动作，环境发生状态转移并产生新观测，新信息再次并入历史。来源：原文图2，第6页；保留原图内容。 学习目标是在环境与任务的分布上最大化期望累计奖励，而不只是优化某个固定任务。论文假设同一回合中环境与任务固定，并将任务视为已给定；主要讨论还先固定智能体的具身形态，随后再讨论跨身体推广。奖励也被当作给定信号，这一建模便利并不意味着实际系统的奖励设计已经解决。

2.2 序贯决策中的控制、估计与学习

“是否知道动力学”和“是否看得到完整状态”，决定了问题中哪些部分需要计算、推断或学习。论文借此把现代世界模型放回已有决策理论的脉络中。

2.2.1 已知动力学与完全可观测状态：控制与动态规划

若状态可见、转移机制已知，核心问题是选动作。动态规划通过价值函数和贝尔曼递推，将当前收益与未来收益联系起来；在线性动力学、二次代价等条件下，线性二次调节器可由黎卡提递推得到反馈控制律。 模型预测控制采用另一种实用路径：从当前状态出发优化有限步动作序列，只执行第一个动作，再根据新状态重新规划。这使控制保持闭环，不需要把一次计算出的完整计划执行到底。它与预先求解价值函数的动态规划有关联，但计算组织方式不同。 这也说明，拥有环境模型只是起点。模型必须与任务目标和优化过程结合，才能产生有用行动；预测本身并不自动完成决策。

2.2.2 已知动力学与部分可观测状态：滤波与状态估计

如果模型已知，但状态不可直接观测，智能体需要维护关于状态的信念，即 p(sₜ | hₜ)。其更新分为两步：先根据旧信念、动作和转移机制预测新状态分布，再利用新观测进行贝叶斯修正。 在线性高斯系统中，卡尔曼滤波可以用均值和协方差高效表示这种不确定性；更一般的系统可能采用粒子滤波等近似。若满足线性二次高斯控制的特定假设，可以把状态估计与最优控制分开处理。 但这种分离并不是所有部分可观测问题的通则。在非线性或多峰不确定性场景里，用单个状态估计替代完整信念可能丢失关键信息。对世界模型而言，隐状态表示不仅要“记住过去”，还可能需要保留会影响决策的不确定性。

2.2.3 未知动力学：系统辨识与强化学习

当转移机制未知，系统辨识利用轨迹估计环境模型。例如，完全可观测的线性系统可以通过最小二乘拟合状态转移；部分可观测情形则涉及状态空间模型估计，复杂非线性动态可以交给神经网络近似。 强化学习直接围绕累计回报组织学习。有模型方法显式学习环境模型，用于规划或生成训练经验；无模型方法则直接学习策略或价值，而不要求显式表示转移分布。无模型策略也可能编码环境规律，但这和拥有可调用的预测模型不是同一件事。 面向通用智能体时，困难还来自数据获取：现实交互缓慢、昂贵，可能不安全或难以重置；仿真与现实之间存在差距；大量图像和视频既没有动作标签，也没有奖励。由此，问题不只是“选哪个强化学习算法”，而是如何利用异质经验学习可迁移的世界知识。

3 学习行动：策略与世界模型（Learning to Act: Policies and World Models）

这一章按预测对象和条件信息划分方法。一条带动作的交互轨迹，既可提供“历史与任务到动作”的监督，也可提供“历史与动作到下一观测”的监督；没有动作标签的视频仍能提供时间变化的预测信号。同一批数据可以支持不同目标，不同目标也不能仅凭网络名称来区分。

图3：策略、世界模型与学习到的潜在表示。上半部分区分真实状态、交互历史及其编码；下半部分对比动作预测、联合预测、动作条件动态、无当前动作条件动态和逆动力学。来源：原文图3，第12页；保留原图内容。

3.1 从示范直接学习策略

行为克隆使用示范中的观测、历史和任务信息，最大化示范动作的似然。本质上，它学习的是数据行为的条件分布。如果示范来自多种操作者或策略，模型可能学到这种混合行为，而不必然是最优动作。 这一视角可以容纳多种现代方法。动作标记或动作块可用自回归方式预测；Decision Transformer 将期望回报等信息作为条件，从离线序列中学习动作；RT-1、RT-2、OpenVLA 等也可以放在条件策略学习的脉络下理解。Diffusion Policy 用去噪过程刻画动作分布，但其训练仍可属于示范监督学习。 这里应区分模型形式与学习目标：使用 Transformer 不等于强化学习，使用扩散模型也不意味着已经建立环境动力学。关键在于模型被要求预测什么、损失函数奖励什么。 直接策略学习的主要局限是示范覆盖和分布偏移。策略执行时的小错误会把系统带到训练数据少见的状态，误差随后可能累积；模仿目标本身也不保证系统性超越示范质量。预训练视觉语言模型可以提供语义知识，却不能自动消除这些问题。没有显式动作后果模型时，策略也较难直接比较未执行过的候选方案。

3.2 为规划与控制学习世界模型

世界模型学习的核心，是从经验中提取可供未来预测和决策使用的规律。论文进一步区分观测空间模型、潜在空间模型，以及模型如何转化为策略。

3.2.1 观测空间世界模型

动作条件模型学习 pθ(oₜ₊₁ | hₜ, aₜ)，回答“如果此刻采取这个动作，接下来可能看到什么”。在部分可观测环境中，完整历史或其有效摘要很重要，因为同一画面可能对应不同速度、接触状态或隐藏条件。训练可以采用概率似然、扩散生成或确定性回归等形式。 无当前动作条件的模型学习 pθ(oₜ₊₁ | hₜ)，或在纯被动视频中学习 pθ(oₜ₊₁ | o₀:ₜ)。这里的“无动作条件”主要指不输入当前候选动作，不意味着历史中一定没有过去的动作。 两者差别具有实质意义：被动模型可以学习物体变化、场景结构和常见运动，却往往混合了数据中不同行为的后果。它预测“通常会发生什么”，不一定能回答“由我选择这个动作，会发生什么”。因此，大规模视频预训练是有价值的先验来源，但要服务行动，通常仍需动作关联和交互验证。

3.2.2 潜在空间世界模型

潜在模型先将历史映射为表示 zₜ = φ(hₜ)，再预测潜在状态的演化。例如，动作条件动力学可以写成 pθ(zₜ₊₁ | zₜ, aₜ)。编码器也可以只处理当前观测，或采用递归更新整合历史，具体选择取决于需要保留哪些信息。 潜在表示不等于真实物理状态，二者也不必一一对应。其优势是可以减少对像素细节的建模负担，在更紧凑的空间里学习决策相关变化。但“维度低”和“容易预测”并不等于“适合控制”。 一个典型风险是表示坍塌：如果所有输入都被编码为同一个常量，下一潜在状态极易预测，却对决策毫无帮助。因此，预测误差小不能单独证明表示有效。论文讨论了若干约束路径：PlaNet、Dreamer 等通过观测重建保留信息；联合嵌入预测方法在表示空间构造预测约束；MuZero 等强调奖励、价值与策略相关信息。 理想标准是控制充分性：仅使用潜在表示时，也能达到利用完整历史所能实现的最优回报。这是理解表示质量的判据，而不是说现有方法普遍已经满足它。防止坍塌的正则化也只是必要考虑之一，不能替代对决策能力的检验。

3.2.3 从预测模型学习策略

**第一条路径：推理时在线规划。**智能体在模型中评估候选动作序列，按目标状态距离、预测回报等指标选择方案。模型预测控制每次只执行首个动作，然后结合真实反馈再规划；树搜索也是利用预测模型的方式。重新观测可以缓解误差积累，却不能保证模型在陌生动作区域仍然准确。 **第二条路径：在学习到的模拟器中改进策略。**模型生成“想象轨迹”，策略和价值函数在其中接受强化学习。训练阶段承担推演成本，部署时可以直接输出动作。若模型可微，还可以利用梯度，但可微并非这一路径的必要条件。 这里必须补上奖励来源：视频预测模型不会自动产生可靠任务奖励，系统仍需外部奖励、学习到的奖励模型或任务评估器。策略也可能利用模型漏洞，在模拟中获得高分而在现实中失败，因此不能把模型内回报直接当成真实能力。 **第三条路径：把预测的未来转成动作。**如果模型只会生成未来观测，可以配合逆动力学模型，根据当前与下一观测推断所需动作；也可利用它为无动作标签的视频生成伪动作监督。这为连接被动视频与控制提供了接口。 但未来画面可能不可执行，同一个状态变化也可能对应多个动作。潜在动作不一定能直接对应物理控制命令；实际使用仍需动作语义和执行机制的对齐。训练逆动力学时，还要避免潜在表示提前编码待预测动作，否则容易出现标签泄漏，而非真正学到状态变化与动作之间的关系。

3.3 世界—动作模型：联合学习世界模型与动作策略

世界预测和动作预测可以组成联合分布。论文以概率链式法则说明两种组织方式： 先选动作，再预测后果：p(oₜ₊₁, aₜ | hₜ, g) = π(aₜ | hₜ, g) · p(oₜ₊₁ | hₜ, aₜ, g)。 先预测未来，再推断动作：p(oₜ₊₁, aₜ | hₜ, g) = p(oₜ₊₁ | hₜ, g) · p(aₜ | hₜ, oₜ₊₁, g)。 第一种对应策略与正向动力学，第二种对应未来预测与逆动力学。两种分解刻画了不同信息流，但它们首先是概率恒等式，不能仅凭该分解就断言识别了动作的因果效应。如果条件概率由不同模型分别学习，也不能自动保证它们保持一致。 工程上，联合学习可以采用共享骨干加不同输出头、跨模态注意力，或统一生成模型。结构是否共享，与是否真正学习一致的联合分布，是需要分别检查的问题；注意力掩码本身不足以决定完整的概率语义，还必须结合训练目标和生成过程。 联合建模的动机之一，是让视觉变化提供比动作标签更丰富的监督。但像素数量多并不意味着有效控制信息一定更多，训练仍需平衡各类目标，避免视觉细节主导学习。 另一个重要区分是：**联合训练不等于部署时必须联合生成。**模型可以在训练时同时学习世界变化和动作，执行时只输出动作，以降低时延。评估这类方法时，应分开考察辅助预测监督的收益和推理时显式推演的收益，而不是把二者合并解释。

3.4 作为隐式世界模型与通用智能体的语言模型

语言模型通过预测下一个标记学习序列规律。文本中包含环境结构、行动经验和交互知识，因此模型可能形成对世界某些方面的隐式表示。但“能生成合理叙述”与“具有可靠可干预动力学”之间仍有距离。 把任务、观测和动作序列化后，同一个自回归框架可以承担不同角色：在历史后预测动作，相当于策略；在动作后预测新观测，相当于正向预测；若先生成未来，再输出促成这一变化的动作，则接近未来预测与逆动力学。角色差异来自条件和预测对象，并不要求使用完全不同的网络。 原文提到的棋类状态表示研究表明，特定序列任务中的模型可能形成与隐藏状态有关的内部表示。这类证据具有启发性，但不能直接推广为对任意现实环境、陌生干预和长期后果的可靠理解。 因此，更关键的问题是如何把语言预训练知识与交互数据连接起来。一种路线是训练外部环境模型供语言智能体规划；另一种是在策略内部联合学习预测、行动和反馈。无论采用哪种结构，都需要考察模型能否在真实交互中修正错误，而不是仅以语言流畅度判断世界知识的有效性。

4 讨论与结论（Discussion and Conclusion）

原文最后围绕五个方向展开讨论，它们也构成理解世界模型下一步发展的检查清单。 跨具身迁移：可共享的知识与身体特有的接口如何分工？

同一场景中的物体和事件可以具有共同结构，但不同机器人拥有不同传感器、关节结构和动作范围。跨环境泛化不等于跨身体泛化。通用世界知识需要与身体相关的观测编码、动作映射和执行约束结合；不能把在一种硬件上有效的动作分布直接视为普适控制能力。 扩展学习：既要扩充数据来源，也要扩展可利用的监督信号。

图像、通用视频、第一视角记录、机器人轨迹以及代码和网页交互，包含不同形式的经验。扩展不只是增加样本数量，还包括从同一轨迹提取动作预测、未来预测、状态变化和逆动力学等多种信号。两者互补，但监督更多并不自动意味着知识更可迁移，数据与目标仍应对准决策需求。 表示与抽象：选什么状态、以什么粒度描述动作？

动作可以是力矩、关节指令、末端位姿，也可以是高层技能。抽象可以降低预测和规划难度，却可能损失精细控制所需的信息。尤其当世界模型预测高层技能的效果时，它学习的往往是环境与底层控制器共同作用形成的闭环动态，而不是裸环境对原始控制输入的响应。改变底层控制器，模型的适用性也可能改变。 推理与规划：语言层面的任务分解怎样连接可执行预测？

高层推理擅长拆解目标、比较方案和提出中间步骤，预测模型则可提供行动后果的依据。开放问题在于二者应当在哪种空间里协作：自然语言、结构化物理状态、潜在表示，还是混合表达？额外推理计算能否改善长程决策，同时满足实时控制要求，也需要具体场景中的验证。 评估：重点不是画面有多逼真，而是决策是否更有效。

预测精度是自然指标，却不是最终指标。一个模型可能准确还原背景纹理，却漏掉影响抓取的接触关系；另一个紧凑模型可能无法生成高保真图像，却保留了完成任务需要的信息。策略实际经过区域中的小误差，也可能比无关区域中的大误差更重要。 因此，评价应同时关注预测保真度、规划表现、策略改进效果，以及跨任务和跨环境的泛化。高保真模拟是否必然带来更好策略，原文将其作为需要研究的问题，而不是既定结论。 贯穿全文的判断是：**世界模型的价值，在于把经验组织成能支持选择、预测与修正行动的知识。**理解一项方法时，可以依次追问：它预测什么？给定了哪些信息？表示保留了哪些决策相关内容？预测结果怎样进入行动闭环？这些问题比单纯判断模型是否“像世界”更有辨识力。 原文信息与链接：Zhihui Zhu, An Introduction to World Models for Generalist Agents，arXiv:2610.30789。论文摘要页；论文全文。本文为依据原文整理的中文导读，不替代原论文中的公式推导与参考文献。