导读

具身智能走向真实机器人，导航是最基础也最难绕开的能力。传统视觉导航依赖 SLAM、几何地图、定位与规划模块，适合目标明确、环境结构相对稳定的场景；但真实人机交互往往不是“去坐标点”，而是“去厨房水槽旁”“带我到床边”“绕回客厅”这类自然语言指令。视觉语言导航（Vision-and-Language Navigation, VLN）正是为此而生：机器人需要把第一视角视觉观察、自然语言指令、历史记忆和动作决策结合起来，在未知环境中完成路径规划与执行。这篇综述《A Comprehensive Survey and Systematic Real-World Evaluation of Embodied Vision-and-Language Navigation》系统梳理了具身 VLN 的任务定义、数据集、仿真器、评测指标和代表方法，并提出一个二维分类视角：从动作范式看，可分为层级式 waypoint-based 框架和单体式 action-based 框架；从模型范式看，可分为判别式方法和生成式方法。更重要的是，论文不仅停留在文献综述，还在真实移动机器人平台上对代表性 VLN 系统做了 10 个真实场景、200 个 episode 的评测，揭示了显著的仿真到真实差距、语义停止困难、碰撞风险和开放环境泛化问题。本文按照原论文结构展开：先介绍 VLN 的问题背景与范式，再梳理层级式和单体式两大方法框架，随后重点解读真实世界评测，最后总结当前局限与未来方向。

I. Introduction 引言

导航是自主系统的核心能力。传统导航系统通常依赖强先验：环境几何可建模、地图可获得、传感器可靠、目标可由明确坐标或点目标表示。这类方法在结构化场景中非常有效，但在开放、动态、目标语义含糊的真实环境中容易脆弱。 VLN 的关键转变在于，它把导航目标从“到达某个坐标”提升为“理解自然语言描述并在视觉环境中执行”。给定类似“go towards the kitchen, and stop near the sink”的指令，VLN agent 需要在未见过的无地图环境中，仅依赖自身第一视角视觉输入，理解目标语义、定位相关地标、规划路径并判断何时停止。论文指出，近年来 VLN 研究快速增长，推动因素包括大规模数据集、高保真仿真器、深度学习与强化学习方法，以及 LLM/LVLM 等基础模型的引入。早期 VLN 主要依赖任务特定数据训练的层级式判别模型；近期则明显转向生成式基础模型，包括零样本导航、系统级 prompt 工程和任务微调。与此同时，越来越多研究开始关注真实机器人部署，而不只是仿真 benchmark 上的性能。本文的主要贡献可以概括为三点。第一，提出系统化方法分类，将 VLN 方法按动作空间和模型范式组织。第二，分析层级式与单体式框架的代表方法、优势和局限。第三，在真实机器人平台上评测代表性系统配置，揭示仿真指标与真实部署之间的落差。

II. Problem Formulation and VLN Paradigms 问题定义与范式

视觉导航的历史脉络

视觉导航长期以来是机器人和人工智能的重要问题。早期系统以视觉传感器和模块化控制为主，随后 SLAM 成为视觉导航的核心基础。MonoSLAM、PTAM、LSD-SLAM、ORB-SLAM2 等方法推动了单目、双目和 RGB-D 场景下的定位与建图，DeepVO、DROID-SLAM 等学习型方法进一步增强了鲁棒性。但传统 SLAM 导航的目标通常是几何化的：建图、定位、规划到某个点。真实人类指令却常常是语义化的、模糊的、依赖上下文的。例如“去窗边那把椅子”“找到办公室的打印机”“经过休息区后返回走廊”。这些任务要求机器人理解语言、视觉地标、环境功能和人类意图。VLN 因此成为连接视觉感知、语言理解与具身行动的重要任务。

问题形式化

论文将 VLN 表述为部分可观测马尔可夫决策过程。每个时间步，agent 处于某个状态，接收第一视角视觉观察与传感器信息，并以自然语言指令为条件选择动作。episode 在 agent 发出 STOP 或达到最大步数时结束，成功通常由最终位置与目标位置的距离是否小于阈值判断。根据环境形式，VLN 可分为离散图环境和连续欧式环境。离散图环境将场景抽象为导航图，动作是移动到相邻节点或停止；连续环境则要求 agent 在物理空间中执行低层动作或预测高层 waypoint，状态转移会受到碰撞、噪声和物理执行误差影响。后者更接近真实机器人部署，也更能暴露 sim-to-real 问题。

任务、数据集与评测生态

VLN 数据集的发展体现了领域从理想化室内导航走向复杂真实任务的趋势。早期 R2R、R4R、RxR 等数据集以 Matterport3D 室内场景为主，推动了离散图导航研究；后续 VLN-CE 等任务开始强调连续环境和低层控制；更复杂的数据集还引入了物体目标、对话、交互、空中导航和户外导航。仿真器方面，VLN 需要实时、高保真、多环境、多机器人形态的交互平台，以支持在线感知、动作执行和评测。常用指标包括导航误差、成功率、路径效率、轨迹相似度、成功加权路径长度等。论文特别强调，传统成功率往往只判断距离阈值，不能充分反映语义停止是否正确，这一点在真实评测中会变得非常关键。

动作范式与模型范式

论文提出两个正交维度。第一个是动作范式：层级式 waypoint-based 框架先预测高层 waypoint，再由低层控制器执行；单体式 action-based 框架则直接从观察和指令预测低层动作。前者更容易结合地图、SLAM 和几何控制，后者端到端程度更高但更容易受到长程误差累积影响。第二个是模型范式：判别式方法通常从预定义动作集合或候选 waypoint 中选择；生成式方法则通过自回归方式生成动作、路径或计划。随着 LLM 和 LVLM 的发展，VLN 正从任务特定专家模型走向通用基础模型驱动的导航系统。

III. The Hierarchical Framework 层级式框架

框架概览

层级式 VLN 将导航拆成高层决策和低层控制。高层模块根据语言指令、视觉观察和历史记忆选择 waypoint 或子目标，低层控制器负责到达该 waypoint。这种拆分降低了长程规划复杂度，也便于接入 SLAM、拓扑图、度量地图和传统机器人控制模块。论文将层级式方法进一步分为三类：基于拓扑图的策略、基于度量地图的策略和基于 LVLM 的策略。拓扑图方法逐步构建在线图结构，将视觉观察与语言目标对齐；度量地图方法将拓扑表示与几何地图结合，以支持更精细的空间推理；LVLM 方法则使用大视觉语言模型编码指令和视觉观察，并借助结构化历史记忆生成导航计划。

判别式方法

早期层级式 VLN 多采用判别式策略，即在候选 waypoint 或图节点中选择下一个动作。此类方法通常将语言指令编码、全景视觉编码和历史状态建模结合起来，通过交叉模态融合预测下一步目标。它们的优势是训练稳定、可解释性较强、容易与图结构和规划模块结合。随着 Transformer 引入，层级式判别模型开始更好地建模长程依赖和历史记忆。例如一些方法通过全景视图、历史轨迹、拓扑地图和跨模态注意力提升未见环境泛化能力。另一些方法通过在线构图和全局记忆缓解局部可观测问题，使 agent 能回看此前探索过的区域。

生成式方法

生成式层级方法利用 LLM/LVLM 的开放式推理能力生成 waypoint、导航计划或中间推理链。相比判别式方法，生成式方法更适合处理开放指令、复杂目标和零样本场景。例如 NavGPT、MapGPT、NavCOT 等方法尝试将地图、语言和视觉观察组织为提示或结构化记忆，让模型输出可执行计划。但层级式生成方法也面临挑战：大模型调用成本高，实时性不足；模型生成的计划可能不满足物理约束；语言推理与低层控制之间存在接口误差。因此，层级式方法的未来不只是引入更强 LLM，而是要让基础模型、几何地图、安全控制和机器人执行形成可靠闭环。

优势与局限

层级式框架的核心优势是结构清晰、可结合几何先验、在真实部署中更容易加入安全检查和低层控制。论文真实评测也显示，在其测试配置下，层级式系统比单体 RGB-only 系统更稳健。但层级式方法也并非完美。它依赖 waypoint 生成质量和地图构建质量，在动态环境、传感器受限或障碍物低于扫描平面时仍可能失败。此外，层级模块之间的误差传递会影响整体表现，高层语言理解正确并不意味着低层执行一定安全。

IV. The Monolithic Framework 单体式框架

框架概览

单体式 VLN 将感知、语言理解、记忆和动作预测统一到一个端到端模型中。agent 每一步输入当前观察、指令和历史状态，直接输出低层动作或动作序列。相比层级式框架，单体式方法减少了人工模块拆分，更有机会从大规模数据中学习统一的具身策略。论文将单体式方法概括为循环策略、二维视频语言策略和三维 grounded 视频语言策略。循环策略通过 RNN/LSTM 等结构维护历史状态；二维视频语言策略将连续视觉观察视作视频流，利用 VLM/LLM 处理时序输入；三维 grounded 方法进一步引入 3D 空间编码，增强空间理解和长程几何记忆。

判别式方法

单体式判别方法通常把动作预测视为分类问题，从前进、左转、右转、停止等离散动作中选择。早期 CMA、LAW、SASRA 等方法使用跨模态注意力、语言对齐监督和历史记忆来提升动作预测一致性。此类方法结构直接，适合连续环境中的逐步控制，但长程任务中容易累积误差。单体式判别方法的关键瓶颈在于空间记忆和几何约束不足。仅凭当前 RGB 或局部观察预测动作，agent 可能错过障碍物、忘记已访问区域，或者在复杂布局中陷入循环。

生成式方法

生成式单体方法尝试借助大模型生成动作序列、推理链或导航计划。近年来 NaVid、NaVILA、StreamVLN、JanusVLN、Qwen-RobotNav 等工作代表了这一趋势。它们把视觉观察、历史上下文和语言指令组织为多模态序列，由大模型输出动作或决策。生成式单体模型的吸引力在于通用性和开放任务能力。它们更容易从大规模视觉语言预训练中获益，也更适合复杂自然语言指令。但在真实机器人中，生成式输出必须满足实时性、可执行性和安全性。模型理解“应该去哪里”不等于能安全地“走到那里”。

优势与局限

单体式框架的优势是统一、简洁、可扩展，能够直接利用基础模型的多模态表示和推理能力。长期来看，它可能成为通用具身智能的重要路线。其局限同样明显：缺乏显式几何结构，低层控制安全性弱，对传感器视野和域偏移敏感，长程记忆不足。论文真实实验中，代表性单体 RGB-only 系统在真实世界成功率和碰撞率上都暴露出明显问题。

V. Real-World Evaluation 真实世界评测

实验设计

论文的一大亮点是系统化真实机器人评测。作者搭建了一个轮式移动机器人平台，配备差速底盘、NVIDIA Jetson Orin Nano、Mid-360 3D LiDAR、全景相机 Insta360 X4 或 RGB-D 相机 RealSense D435i。车载端负责 SLAM、低层运动控制和局部图像处理，高层 VLN 推理通过 Wi-Fi 发送到远程 L40 GPU 服务器。

实验选取两类代表系统。层级式 baseline 采用 CLASH，使用全景图像和 waypoint-based 导航；单体式 baseline 采用 JanusVLN，使用单视角 RGB 图像和 action-based 导航。两个系统共享相同起点和语言指令，以比较真实部署表现。评测覆盖 10 个真实环境，包括实验室、休息区、图书馆、咖啡厅、住宅室内和户外花园。每个环境设计 10 条任务指令，其中 70% 是 R2R 风格逐步指令，20% 是意图模糊指令，10% 是需要回溯的指令。总计 200 个导航 episode，每个 baseline 100 个。

论文还引入更严格的 SSR 指标。传统 SR 只判断是否停在目标 3 米以内，但真实环境中，机器人可能距离目标很近却没有满足语义要求。SSR 要求同时满足距离阈值和语义正确停止，更能反映真实人机交互中的任务完成质量。另一个关键指标是碰撞率 CR，用于衡量安全性。

定量分析

平均性能结果非常有代表性。在论文测试配置下，单体式系统真实 SR 为 22%、SSR 为 17%、OSR 为 27%、CR 为 51%；层级式系统真实 SR 为 51%、SSR 为 37%、OSR 为 67%、CR 为 7%。这说明在该评测设置中，层级式系统更能迁移到真实环境，尤其在安全性上优势明显。

但论文也提醒，这个差距不能简单归因于“层级式一定优于单体式”。两种系统在传感器、地图、控制栈上也不同：层级式系统使用全景视觉、拓扑图记忆、LiDAR 与 SLAM，能够获得更完整的环境观察和更强几何安全约束；单体式系统只使用 RGB 单视角，更容易受视野限制和障碍物感知不足影响。逐场景分析显示，层级式方法在多数场景中成功率更高、碰撞率更低，且 8 个场景完全避免碰撞。剩余碰撞多由低于 LiDAR 扫描平面的台阶或障碍物导致。这说明即便有 SLAM 和 LiDAR，真实机器人仍会遇到传感器覆盖盲区。在意图与回溯任务上，现有系统表现更不稳定。意图指令要求 agent 从自然语言中推断隐含目标，回溯指令要求长期记忆和路径返回。实验显示，层级式系统在意图任务中略优，但在回溯任务中并不占优。一个关键问题是缺少明确停止信号：agent 可能已经经过正确目标区域，却继续执行直到达到最大步数，最终被判失败。

定性分析

定性轨迹显示，单体式系统常常需要先原地旋转一圈以获取视野，而层级式系统由于有全景观察，不需要显式旋转探索。全景视觉和 LiDAR 的互补使层级式系统在真实部署中更稳健。失败案例主要来自两类。第一是动作预测错误，agent 朝错误方向移动，反映出模型泛化与鲁棒性不足。第二是碰撞，尤其在单体 RGB-only 框架中更突出。受限视野和缺乏显式几何感知会导致 agent 无法可靠识别障碍物；而层级式系统也可能因为低矮障碍不在 LiDAR 扫描平面内，将不可通行区域误判为可通行。论文强调，真实碰撞问题在以往仿真 VLN 文献中讨论不足。仿真器通常会抽象或缓解碰撞，例如沿边界滑动；但真实环境中的碰撞会直接影响任务成功、安全和部署可行性。因此，真实世界 VLN 不能只看成功率，还必须系统评估碰撞、急停、低速控制和人类安全。

VI. Limitations and Future Directions 局限与未来方向

当前局限

第一，碰撞规避与几何推理不足。很多仿真数据由最短路径规划生成，缺乏安全距离、多机器人形态和动态障碍监督。单体模型缺少持久障碍物记忆，层级模型也可能选择不符合平台运动约束的 waypoint。第二，语义停止和意图理解不足。真实指令往往没有明确“stop”提示，且目标可能由功能、关系或隐含意图定义。现有 VLN 系统可能经过正确位置却不会停，也可能停在距离近但语义错误的位置。第三，仿真到真实迁移有限。真实世界有运动模糊、光照变化、相机高度变化、传感器噪声、轮滑、控制延迟和动态物体，这些因素很难在静态仿真 benchmark 中充分覆盖。第四，动态环境建模不足。多数 VLN 数据集假设环境静止，但真实空间中有人、宠物、家具移动和目标遮挡。agent 需要显式时间推理和世界模型，而不只是记住静态地图。

未来方向

论文提出四个方向。第一是终身具身记忆和意图理解。未来 VLN agent 不应每个 episode 重置，而要在同一环境中持续积累空间语义知识，并用历史经验理解新的自然语言指令。第二是反事实想象和因果推理。人类导航会在行动前想象不同路径的后果，避免死胡同和碰撞。VLN agent 也需要世界模型，在内部模拟候选行动的长期结果。第三是可信安全具身导航。真实机器人必须把运动学、动力学、风险约束、碰撞不确定性和社会规范纳入高层决策与低层控制。仅在仿真中高 SR 不足以证明部署可靠。第四是下一代大规模数据引擎。未来数据平台需要从静态 3D 扫描转向可交互、可生成、物理一致、视觉逼真的场景引擎，并支持更细粒度的指令生成和评测指标，如安全性、物理可行性、语义 grounding 和决策鲁棒性。

VII. Conclusion 总结

这篇综述的价值在于，它没有只把 VLN 当作一个 benchmark 排名问题，而是把它放回真实机器人部署语境中审视。论文系统整理了具身视觉语言导航的任务定义、数据集、仿真器、指标和代表方法，并用“动作范式 x 模型范式”的二维坐标清晰刻画了方法演进：从层级式判别模型，到生成式基础模型；从离散图导航，到连续控制与真实机器人。更重要的是，论文通过真实平台实验指出：当前 VLN 仍存在明显 sim-to-real gap。层级式系统在其测试配置下更稳健，但也依赖传感器、SLAM 和控制栈；单体式基础模型路线更通用，却在真实感知、安全控制和长程记忆上面临挑战。未来 VLN 的关键不是单纯提升仿真成功率，而是要同时解决语义理解、空间记忆、物理安全、动态世界建模和真实数据闭环。对于具身智能和机器人研究者来说，这篇论文提供了一个很清晰的路线图：VLN 正从“在仿真房间里按指令走到终点”走向“在真实开放环境中理解人类意图并安全行动”。这也是具身多模态基础模型真正落地必须跨过的一道门槛。

成为VIP会员查看完整内容