综述 | 自我中心视频中的视觉语言模型：从手物交互到具身智能

论文题目：Vision-Language Models for Egocentric Video: From Hand-Object Interaction to Embodied AI 作者：Mohammad Zamani、Fatemeh Ziaeetabar 机构：德黑兰大学计算机科学系 论文链接：https://arxiv.org/abs/2608.18671

导读

自我中心视频来自佩戴者视角，记录的是“我正在看什么、手正在操作什么、环境如何随动作变化”。这种视角天然贴近辅助技术、可穿戴计算、AR/VR、机器人示教和具身智能，但也带来一组第三人称视频不具备的难题：相机随头部剧烈运动，手和物体频繁遮挡，关键操作对象很小，动作意图依赖第一人称视角，长时活动又要求模型跨分钟甚至小时进行时间推理。 这篇综述系统梳理自我中心视频中的视觉语言模型，主线非常清楚：从基础任务和数据集出发，回顾视频理解模型从 CNN、双流网络、Transformer 到 CLIP/EgoVLP 等视觉语言模型的演化，再重点讨论为什么标准 VLM 在第一人称视频上失效，以及手物交互、时空推理、图结构推理、提示与语义对齐如何将自我中心感知推向具身 AI。 论文最有特色的视角是“图感知”。作者认为，自我中心动作不是由单帧外观定义的，而是由时间中展开的关系定义的：哪只手接触哪个物体，动作如何改变物体状态，场景中哪些对象提供上下文，佩戴者目标如何从操作序列中显现。因此，场景图、手物交互图、图引导帧采样和对象中心推理不是附加技巧，而是连接低层交互感知与语言化具身推理的关键骨架。

INTRODUCTION：引言

研究动机

自我中心视频由头戴式或可穿戴设备采集，记录人类在真实环境中的注意、行为和目标。与第三人称视频相比，它更接近人类执行任务时的视觉输入：手通常位于画面中心，操作对象和动作意图直接暴露在视野中。这使其成为连接人类示教和具身 AI 的天然数据源。 视觉语言模型为这一领域提供了新接口。它们可以把视觉观察与语义知识和自然语言监督连接起来，用语言表达动作、对象、步骤和意图。但论文指出，普通 VLM 不能直接解决自我中心视频问题，因为第一人称场景中的关键信息往往不是“看见了什么物体”，而是“手如何作用于物体，以及这种关系如何随时间改变”。

论文贡献

作者总结了六类贡献：给出从手物交互到具身 AI 的统一轨迹；形式化自我中心视频理解的核心任务和感知挑战；比较主要数据集与基准；回顾视频模型到视觉语言模型的演化；重点讨论手物交互、时空推理、图结构推理和语义对齐；最后面向辅助系统、人类活动理解、AR/VR、可穿戴 AI 与人机协作总结应用和开放问题。

Foundations of Egocentric Video Understanding：自我中心视频理解基础

基本定义

自我中心视频也称第一人称视觉，通常由佩戴在人身上的相机采集。它反映佩戴者的视野、注意、手部操作和局部环境。其优势是能捕捉操作过程中的关键互动，劣势是相机运动强、视角偏置明显、遮挡严重，且画面只包含佩戴者所见的一部分世界。

核心任务

论文将自我中心视频理解归纳为五个经典任务：动作识别、动作预测、视频字幕生成、视频文本检索和手物交互理解。动作识别要判断“我在做什么”，动作预测要推断未来将发生什么，字幕生成要把活动转成自然语言，检索要在视频与文本之间建立对应，手物交互则要求识别手、接触对象、动作阶段和交互状态。 这些任务共同面临第一人称难题：动作常由微小物体和手部接触决定，画面中显著物体未必是正在操作的对象，长时活动需要跨片段记忆，而视角变化和遮挡会破坏普通时空特征。

Egocentric Video Datasets：自我中心视频数据集

数据要求

一个好的自我中心数据集不能只提供视频帧，还应覆盖动作、对象、手部状态、时间边界、语言描述和多模态信号。论文特别关注数据集是否支持 VLM 训练与评测，包括视频文本对、动作标签、手物标注、长视频上下文和多视角信息。

代表性数据集

Ego4D 是该领域的重要基石，提供大规模日常活动视频和多类任务标注。EPIC-KITCHENS 专注非脚本化厨房活动，具有密集动作与对象标注。Ego-Exo4D 同时提供第一人称和第三人称视角，有利于桥接自我中心感知与外部观察。H2O、Charades-Ego 等数据集则在手物操作、动作识别和场景活动理解中发挥作用。

偏差与局限

现有数据集仍存在明显偏差：场景常集中于厨房或室内活动，真实长尾操作覆盖不足，标注粒度和语言描述方式不统一，多模态信号如 IMU、眼动、音频和 SLAM 轨迹并不总是可用。对于具身 AI 来说，数据还面临 embodiment gap：人类手部操作和机器人执行之间存在形态、动力学和接触差异。

Evolution of Video Understanding Models：视频理解模型演化

三阶段演进

论文将视频理解模型演化划分为三个阶段。第一阶段是经典视觉模型，包括 CNN、3D CNN、CNN-RNN 和双流网络，它们通过时空卷积、循环聚合或外观-运动双路径建模视频。第二阶段是 Transformer 视频模型，如 ViT、TimeSformer、ViViT、VideoMAE 等，通过时空注意力和自监督预训练提升长程建模能力。第三阶段是视觉语言模型，从 CLIP 到 VideoCLIP、Frozen-in-Time、EgoVLP，将固定标签空间转化为自然语言监督和开放词汇表征。

自我中心迁移

第三人称视频模型为自我中心视频提供了骨干，但并不能直接解决第一人称问题。自我中心视频的核心不只是识别动作类别，而是理解动作与手、物体、场景、目标和时间顺序之间的关系。EgoVLP 等方法通过 EgoClip 数据和对比学习目标，把视频语言预训练迁移到自我中心任务，并在检索、动作识别、自然语言查询和对象状态变化等任务上形成基础。

Vision-Language Models for Egocentric Video：自我中心视频视觉语言模型

标准模型为何失效

标准 VLM 在图像文本或第三人称视频上表现强，但在自我中心视频中会遇到四类问题。第一是视角和运动噪声：头部运动导致模糊、裁切和不稳定视野。第二是手物遮挡：关键对象常被手遮住或只露出小区域。第三是动词-名词不对称：模型能识别物体，却不一定能识别“拿起、倒入、搅拌、放下”等动作关系。第四是长时依赖：许多问题必须整合跨片段证据，而不是看单帧。

诊断性评测

EgoHOIBench 展示了一个典型失败模式：候选答案只改动一个动词或一个名词，模型必须同时判断动作和对象才算正确。实验暴露出大动词-名词准确率差距，说明很多 VLM 依赖物体或场景捷径，而不是理解真实的手物交互。

架构类型

论文将自我中心 VLM 分为检索式、字幕式、动作中心和多模态式四类。检索式方法学习视频文本嵌入，适合匹配和问答；字幕式方法生成自然语言描述；动作中心方法强调动词、对象和操作阶段；多模态方法进一步融合音频、IMU、眼动、深度或 SLAM 信息。总体趋势是从单纯视频文本对齐走向交互感知和具身任务导向。

Hand-Object Interaction Understanding in Egocentric Video：手物交互理解

为什么手重要

在第一人称视频中，手几乎是动作的执行器，也是意图的直接线索。判断一个人是否“切菜”“倒水”“拿杯子”，关键不是画面里是否出现菜、杯子或刀，而是哪只手接触了哪个对象、接触方式是什么、对象状态如何变化。 手物交互理解包括手检测与跟踪、接触状态估计、对象中心交互理解、可供性建模和细粒度阶段识别。100DOH 等方法联合预测手框、左右手、接触状态以及被接触对象，体现了从“手在哪里”到“手正在作用于什么”的转变。

当前局限

现有方法仍难处理严重遮挡、小物体、快速动作、双手协作和长时交互阶段。更重要的是，检测手和物体只是第一步，模型还要理解交互生命周期：对象何时被抓取，何时改变状态，动作何时达到关键转折点，以及这些关系如何支撑后续推理。

Spatiotemporal Reasoning in Egocentric Video：时空推理

空间与时间

空间推理要求模型识别手、对象、场景区域和它们之间的几何关系。时间推理则要求模型理解动作顺序、前置条件、关键时刻、后置状态和长时依赖。自我中心视频往往持续很久，直接对全视频做密集注意力成本极高，因此记忆机制、关键帧选择和事件结构变得非常重要。

交互感知记忆

论文强调，长视频理解应围绕交互结构压缩记忆，而不是均匀采样帧。交互感知时间建模可以把手物轨迹、关键位置、操作片段和图结构记忆组织起来，使模型在回答顺序、并发、时间定位和检索问题时不必重新处理整段视频。

Graph-Based and Object-Centric Reasoning：图结构与对象中心推理

为什么需要图

图结构适合自我中心视频，因为第一人称活动天然由实体和关系构成。节点可以表示佩戴者、左右手、动作、直接对象、主动对象和背景对象；边可以表示接触、操控、上下文、手手关系和时间转移。相比密集 token，图能显式保存“谁与谁发生了什么关系”，减少模型依赖外观捷径。 EASG 将交互表示为随时间演化的图结构，以关键帧、动作节点、对象节点和边关系描述从前置条件到关键转折点再到后置状态的变化。这种表示尤其适合长时活动，因为它把连续视频压缩成可查询、可组合、可解释的关系骨架。

图增强模型

图结构可以用于场景图生成、手物交互图、图引导帧采样和图增强表征学习。它既能提升帧选择效率，也能让 VLM 在提示或推理时获得显式关系。未来挑战在于：如何让图与大模型 token 表征互补，如何自动构建可靠动态图，如何在不牺牲开放词汇能力的前提下引入结构化推理。

Prompting and Semantic Alignment in Vision-Language Models：提示与语义对齐

提示工程

提示可以将模型注意力引向手、对象、动作阶段和用户意图。对于自我中心视频，普通“描述这个视频”的提示往往太宽泛，更有效的提示应显式询问“哪只手接触了哪个对象”“动作导致了什么状态变化”“当前步骤的目的是什么”。这种交互感知提示有助于减少对象捷径和动词误判。

语义对齐

视频文本语义对齐不仅要对齐帧和句子，还要对齐动作、对象、时间和状态。自我中心视频中同一个物体可能经历拿起、打开、倒入、放回等多个阶段；同一个动作也可能因对象不同而含义不同。因此，语义对齐必须从静态名词匹配扩展到动词-名词关系、时间顺序和交互状态。

Applications Toward Embodied Intelligence：面向具身智能的应用

典型应用

论文讨论了四类应用。辅助系统可以帮助用户记忆物品位置、理解日常步骤或提供行动建议。人类活动理解面向长期行为分析和任务流程识别。AR/VR 与可穿戴 AI 需要实时、低延迟、隐私敏感的自我中心理解。人机协作则希望从人类第一人称演示中学习可迁移技能。

具身部署

从视频理解走向机器人执行存在多重 gap。视觉域上，头戴相机画面与机器人传感器不同；形态上，人手与机械夹爪自由度和接触动力学不同；计算上，可穿戴和机器人端侧设备受到延迟、功耗和隐私约束。因此，自我中心视频更像是具身学习的丰富监督源，而不是可以直接复制的动作轨迹。

Open Challenges and Future Directions：开放挑战与未来方向

六个方向

论文总结了六个未来重点。第一是更好的时间推理，避免模型靠单帧外观捷径回答长视频问题。第二是交互感知理解，尤其要解决动词识别弱于名词识别的问题。第三是图增强 VLM，让显式关系结构与开放词汇语言推理结合。第四是高效帧采样，用查询和结构信息选择有用片段。第五是多模态自我中心学习，融合 IMU、眼动、音频和 SLAM。第六是具身部署，处理 embodiment gap、隐私、端侧计算和可信评测。

conclusion：结论

这篇综述的核心观点是：自我中心视频提供了观察人类注意、物体操作和目标导向交互的独特窗口，而视觉语言模型提供了将这种视觉经验转化为语义推理和具身行动的接口。但当前模型仍更擅长识别可见对象，而不是理解动作、交互过程、长时结构和用户意图。 要走向可靠的具身智能，未来模型需要把密集视频语言表征与显式关系结构结合起来。图结构推理不是替代 VLM，而是为手、物、动作和场景上下文提供组织骨架；多模态信号不是附加输入，而是应对运动模糊、遮挡和长时活动的必要补充；评测也不能只看聚合分数，而要诊断时间顺序、交互关系、泛化能力和真实部署约束。沿着“手物交互到具身 AI”的路线，自我中心视频可能成为训练下一代具身智能系统的重要桥梁。