综述 | 高效界面智能体：观察、记忆、动作与运行时优化

论文首页与摘要。本文从端到端系统视角讨论界面智能体的效率问题，强调不能只看任务是否成功，还要看上下文、计算、动作预算和运行时开销。

导读

图形界面智能体正在从网页导航走向移动应用、桌面系统和跨应用工作流。它们能够读取用户指令、观察屏幕或界面树、规划下一步，并通过点击、输入、滚动、拖拽、快捷键等操作完成任务。过去一两年，相关基准和模型快速发展，但论文指出：如果只报告任务成功率，很多关键问题会被遮住。一个智能体即使最终完成了任务，也可能用了太多模型调用、读取了过长界面上下文、执行了大量冗余步骤，或者让用户等待过久。 这篇综述《Efficient GUI Agents: A Systems Survey of Observation, Memory, Action, and Runtime Optimization》把“效率”提升为界面智能体能否落地的核心指标。作者从端到端系统环路出发，将高效界面智能体划分为四条主线：观察效率、上下文与记忆效率、动作效率，以及规划器侧与系统效率。论文并不只罗列方法，而是追问每类方法到底节省了什么：是输入令牌、视觉令牌、历史长度、缓存显存、动作步数、反思开销、验证成本，还是端到端延迟。 本文适合关注智能体系统、电脑使用智能体、移动自动化、网页自动化、多模态模型推理成本和工程部署的读者。它的核心观点很直接：未来界面智能体不能只追求“会做”，还要追求“做得省、做得快、做得稳、做得可审计”。

Introduction | 引言

为什么只看成功率不够

大语言模型和视觉语言模型推动了开放式界面自动化。现代智能体可以跨网页、手机应用和桌面系统完成多步任务，相关评测也从网页导航扩展到操作系统级任务。然而，论文强调，界面任务天然具有高交互成本：智能体每一步都要观察界面、构造上下文、推理规划、执行动作，再验证结果。如果这个循环重复几十次，即使最后成功，实际体验仍可能很差。 作者把问题概括为“成功率之外的效率”。界面智能体可能因为过长的网页结构、冗余的截图信息、不断增长的历史轨迹、昂贵的反思和验证、多次失败回退而变慢。已有研究显示，在真实电脑使用任务中，智能体往往比人类轨迹需要更多步骤，规划、判断和反思会占据大量端到端延迟。这意味着，效率不是附属指标，而是部署条件。 论文的贡献有两点。第一，建立一个以效率为中心的分类体系，覆盖观察、记忆、动作和系统运行时。第二，综合这些路线的跨层权衡，特别指出许多“节省”可能只是把成本转移到解析器、检索器、验证器或编排模块上。

Preliminaries | 预备知识

从智能体到界面智能体

论文首先区分三个概念。大模型是推理与语言处理骨干；智能体是面向目标、反复观察环境并选择动作的系统；界面智能体则是以图形界面为主要感知和行动通道的电脑使用智能体。它不仅是“给模型一张截图再让它回答”，而是要在可见界面中定位元素、理解状态、选择操作，并处理动作失败和界面变化。 在形式上，界面智能体可以被看成一个循环：给定用户目标、当前界面观察和保留的上下文或记忆，策略输出下一步动作。观察可以来自截图、网页结构、无障碍树、窗口元数据或混合解析结果；动作可以是点击、输入、滚动、拖拽、快捷键和应用切换。界面任务的难点在于多模态、部分可观测、长时程和高错误敏感性。!

界面智能体的系统环路。论文把观察、上下文与记忆、规划、动作执行和反馈验证放在一个闭环中，并据此定义四类效率问题。

效率应该如何度量

作者将有效性和效率分开：有效性衡量任务质量，效率衡量为获得这种质量所消耗的资源。论文梳理了几类常见效率指标。延迟指标包括首个生成令牌时间、单令牌生成时间、模型调用时间、单步循环延迟和端到端任务时间。观察指标包括截图、裁剪、识别、模型感知、网页结构或无障碍树解析调用次数，以及序列化界面长度。记忆指标包括历史长度、检索记忆大小、键值缓存规模和显存占用。动作指标则包括步骤数、冗余动作、失败回退和验证调用。 这一节也给出了全文结构：第三节讨论观察效率，第四节讨论上下文与记忆效率，第五节讨论动作效率，第六节讨论规划器侧与系统效率，第七节讨论开放挑战。 全文分类树。论文把高效界面智能体组织为四个主轴：观察效率、上下文与记忆效率、动作效率、规划器侧与系统效率，并列出各子方向代表工作。

Observation Efficiency | 观察效率

文本观察压缩

观察效率关注智能体如何获得足够支撑决策的界面表示，同时减少冗余、定位歧义和后续推理成本。在网页环境中，低效常来自过长的页面结构和无障碍树。真实网页会暴露大量装饰节点、重复文本、布局片段和任务无关分支，导致输入长度暴涨，却不一定改善下一步动作判断。 一类方法通过压缩、筛选或检索来减少文本观察。相关工作会裁剪网页结构、去除噪声节点、按任务目标检索关键行，或者把候选元素从数百个压缩到几十个以内。论文强调，这类方法的目标不是简单截断，而是保留对未来导航和动作选择真正有用的结构。有效压缩应同时减少输入长度和动作搜索空间。

区域聚焦视觉感知

当主要观察来自截图时，低效问题转变为视觉资源分配。界面截图中有大量重复控件、装饰区域和无关信息，真正可操作目标可能很小。区域聚焦方法通过局部裁剪、缩放搜索、区域提议或视觉令牌筛选，让模型把计算放在任务相关区域，而不是均匀处理整张高分辨率截图。 这类方法能提升小目标定位和视觉理解效率，但也可能引入额外开销。例如，自适应缩放需要多次观察迭代，区域提议可能增加推理调用，局部裁剪也可能漏掉全局上下文。因此，论文反复提醒：效率优化要报告端到端收益，而不是只报告某个局部模块节省了多少令牌。

解析增强与混合观察

观察效率不只是减少输入，还要让观察结果更可行动。截图保留真实渲染状态，但结构弱；网页结构和无障碍树更紧凑，却可能与视觉界面不一致。解析增强路线通过屏幕标记、元素编号、布局树、区域动作、视觉定位和结构化解析，把界面转化为更容易执行动作的表示。 混合方法通常把截图、结构树和局部标注结合起来：既保留可见界面的上下文，又让模型能稳定引用元素。这类路线对跨平台界面智能体尤其关键，因为网页、手机和桌面系统的结构接口并不统一。论文把它视为从“看见界面”走向“可执行地理解界面”的重要桥梁。 观察效率相关工作。表格按文本观察压缩、区域聚焦视觉感知、解析增强与混合观察整理代表方法，并对比其平台、机制、效率信号和未报告成本。

Context and Memory Efficiency | 上下文与记忆效率

历史压缩与选择性回看

界面任务常常是长时程的。随着轨迹增长，重复回放先前截图、动作和推理记录会迅速变得昂贵，也会把噪声带入当前决策。上下文与记忆效率的核心，是在不丢失任务进展的前提下，压缩、保留和检索历史信息。 一类方法用任务进度摘要、渐进式摘要、主动回看或动态上下文采样替代原始历史回放。它们不再把所有过去状态都塞进模型，而是保留当前目标、已完成步骤、关键界面变化和失败记录。这样做尤其适合多步网页或手机任务，因为智能体需要知道“已经试过什么”和“下一步为什么要这样做”，但不需要每次重新读取全部历史。

运行时表征压缩

另一类方法直接优化服务时的表示成本。对于长时程截图和多模态输入，键值缓存、视觉令牌和显存占用会成为瓶颈。相关工作会利用界面轨迹的空间和时间冗余，对缓存、历史图像或连续记忆进行压缩，使模型在保持可用上下文的同时降低解码成本和显存压力。 论文指出，这条路线对真实部署很重要，因为它触及推理系统的底层开销。不过，压缩收益也要分清位置：有些方法主要加速解码，对预填充阶段帮助有限；有些方法减少历史表示，却增加检索或更新成本。理想评测应同时报告延迟、显存、模型调用和任务成功率。

Action Efficiency | 动作效率

动作抽象

即使模型推理足够快，智能体仍可能因为动作太多而难以使用。动作效率研究的是如何用更少步骤、更少不可逆错误和更少无效探索完成任务。动作抽象是其中最直接的一类：把重复的低级点击和输入封装成可复用技能、快捷方式、例程或程序。 在网页和移动场景中，一些方法会从历史任务或示范中发现常见操作序列，并将其变成可调用技能；另一些方法进一步把界面操作编译为状态机或程序，让智能体不必每次从零规划。论文给出的直觉很稳：如果一个控制模式经常重复，智能体就不应该每次都为它支付完整推理成本。

剪枝验证与恢复

第二条路线是在执行前减少或验证候选动作。智能体可以先剪枝不可行动元素，缩小动作搜索空间；也可以在点击或输入前进行意图检查、候选动作评分、过程级奖励评估或后置条件验证。这类机制能减少明显错误，避免一次错误动作引发后续连锁失败。 恢复同样属于动作效率。长任务中错误不可避免，关键在于失败是否可检测、可回滚、可纠正。带有回退、反思、验证和恢复模块的系统，虽然单步可能更复杂，但能减少整条轨迹上的灾难性浪费。论文认为，动作效率不是单纯追求更少动作，而是让错误以更便宜的方式发生和被修复。

探索控制

在陌生界面中，智能体需要探索，但无结构探索会非常昂贵。相关方法通过状态空间搜索、意图抽取、自我探索、转移知识挖掘、最佳优先搜索和安全回退来限制探索成本。探索应该在冷启动或高不确定场景中按需触发，而不是成为每个任务的固定开销。 动作效率相关工作。表格覆盖动作抽象、动作剪枝、验证、恢复和探索控制，展示不同方法如何减少低级操作、冗余尝试和失败恢复成本。

Planner-Side and System Efficiency | 规划器侧与系统效率

规划器内部效率

规划器侧效率关注决策循环内部的计算负担。已有基准表明，智能体与人类轨迹相比往往需要更多步骤，规划与反思会占据端到端延迟的大头。因此，规划器不能总是使用相同深度的推理。更合理的方向是根据任务难度自适应分配计算：简单界面快速行动，困难或高风险界面再启用慢思考、反思或强化规划。 一些工作尝试用规则强化学习、难度感知推理调度、分层反思、紧凑动作空间和专门化模块来提高规划效率。论文特别提醒，长推理链并不必然提升界面 grounding，有时还会损害决策。因此，界面智能体需要的不只是“多想”，而是知道何时值得多想。

系统运行时效率

系统效率超出了规划器本身，涉及运行时如何组织观察、记忆、执行、隐私保护和多后端路由。有些任务适合图形界面操作，有些任务更适合代码执行或接口调用；有些界面内容可以在本地处理，有些需要云端模型；有些步骤需要完整视觉理解，有些只需轻量规则或缓存。 因此，高效系统往往是混合运行时：它会在界面操作、代码执行、本地模型、云端模型、隐私过滤、检索记忆和验证模块之间做选择。论文的系统性观点是，真正的效率来自协同设计，而不是孤立优化某一个模块。观察设计、记忆位置、执行路由、验证策略和编排成本必须一起核算。 文献扩展与分节整理。论文按既有小节补充相关工作，并说明每类方法如何纳入效率机制讨论。

Open Challenges and Future Directions | 开放挑战与未来方向

诚实核算成本

论文提出的首要挑战是诚实的效率核算。许多工作报告了局部收益，例如减少令牌、减少候选动作或降低某个模块延迟，但没有完整报告解析器、验证器、检索器、多智能体编排和回退机制带来的新成本。未来基准应同时记录显存峰值、预填充与解码延迟、单令牌计算、训练和搜索所需硬件小时，以及归一化到成功任务上的真实成本。

建立可比较基准

第二个挑战是跨基准可比性不足。网页、手机和桌面系统的任务形态不同，输入模态不同，动作空间不同，成本口径也不同。一个方法在网页结构压缩上有效，不一定能改善截图驱动的手机控制；一个方法减少动作步数，也可能增加验证调用和等待时间。未来评测需要把任务成功、步骤数、延迟、显存、隐私暴露和人工体验放在同一张账本里。

跨层协同设计

第三个挑战是观察、记忆和执行层的协同。观察压缩可能影响动作定位，记忆压缩可能影响长期任务一致性，动作抽象可能隐藏错误，系统路由可能引入隐私与安全风险。论文认为，高效界面智能体的下一阶段不应是单点优化竞赛，而应是系统级联合设计：让模型、解析器、记忆、验证器、执行后端和隐私机制共同满足真实延迟与部署约束。

结语

这篇综述的核心启示是：界面智能体的发展已经从“能不能完成任务”进入“能否高效完成任务”的阶段。高效并不等于简单减少令牌，也不等于压缩某个模块；它要求整个观察、记忆、动作和运行时链路共同节省资源，同时保持成功率、鲁棒性、隐私和可恢复性。 对未来的电脑使用智能体而言，真正重要的不是让模型在每一步都显得更聪明，而是让系统知道哪些信息值得看、哪些历史值得记、哪些动作值得执行、哪些错误值得提前防住，以及什么时候应该换一种更便宜的执行路径。这也是界面智能体从演示走向可用产品必须跨过的一道门槛。