Recent years have witnessed increasing interest in extending large language models into agentic systems. While the effectiveness of agents has continued to improve, efficiency, which is crucial for real-world deployment, has often been overlooked. This paper therefore investigates efficiency from three core components of agents: memory, tool learning, and planning, considering costs such as latency, tokens, steps, etc. Aimed at conducting comprehensive research addressing the efficiency of the agentic system itself, we review a broad range of recent approaches that differ in implementation yet frequently converge on shared high-level principles including but not limited to bounding context via compression and management, designing reinforcement learning rewards to minimize tool invocation, and employing controlled search mechanisms to enhance efficiency, which we discuss in detail. Accordingly, we characterize efficiency in two complementary ways: comparing effectiveness under a fixed cost budget, and comparing cost at a comparable level of effectiveness. This trade-off can also be viewed through the Pareto frontier between effectiveness and cost. From this perspective, we also examine efficiency oriented benchmarks by summarizing evaluation protocols for these components and consolidating commonly reported efficiency metrics from both benchmark and methodological studies. Moreover, we discuss the key challenges and future directions, with the goal of providing promising insights.


翻译:近年来,将大语言模型扩展为智能体系统的研究日益受到关注。尽管智能体的效能持续提升,但对于实际部署至关重要的效率问题却常被忽视。本文因此从智能体的三个核心组成部分——记忆、工具学习与规划——出发,结合延迟、令牌数、步骤数等成本考量,对效率展开研究。为对智能体系统本身的效率进行全面探讨,我们综述了近期一系列实现各异但常遵循共同高层原则的方法,包括但不限于通过压缩与管理限制上下文、设计强化学习奖励以最小化工具调用、采用受控搜索机制提升效率等,并对此进行了详细讨论。相应地,我们从两个互补的角度刻画效率:在固定成本预算下比较效能,以及在可比效能水平下比较成本。这种权衡亦可视为效能与成本之间的帕累托前沿。基于此视角,我们还通过总结这些组件的评估协议、整合基准与方法研究中常用的效率指标,审视了以效率为导向的基准测试。此外,我们讨论了关键挑战与未来方向,旨在为相关研究提供有价值的见解。

0
下载
关闭预览

相关内容

AI 智能体系统:体系架构、应用场景及评估范式
AI智能体时代中的记忆:形式、功能与动态综述
专知会员服务
35+阅读 · 2025年12月16日
大模型智能体:概念、前沿和产业实践
专知会员服务
76+阅读 · 2024年8月20日
完备的 AI 学习路线,最详细的资源整理!
新智元
17+阅读 · 2019年5月4日
类脑计算的前沿论文,看我们推荐的这7篇
人工智能前沿讲习班
21+阅读 · 2019年1月7日
群体智能:新一代人工智能的重要方向
走向智能论坛
12+阅读 · 2017年8月16日
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
42+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2013年12月31日
国家自然科学基金
18+阅读 · 2009年12月31日
国家自然科学基金
48+阅读 · 2009年12月31日
Arxiv
0+阅读 · 1月13日
VIP会员
相关基金
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
42+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2013年12月31日
国家自然科学基金
18+阅读 · 2009年12月31日
国家自然科学基金
48+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员