Multi-agent large language model (LLM) systems have shown promise for solving complex tasks through agent collaboration. However, existing frameworks assign tasks based on predefined roles without considering whether an agent can accurately assess its own competence boundaries, leading to overconfident execution on tasks beyond its expertise. Inspired by metacognition theory from cognitive science, we propose MetaCogAgent, a multi-agent LLM framework where each agent is equipped with a Metacognitive Self-Assessment Unit that evaluates task-capability alignment before execution. The framework introduces three contributions: (1) a self-assessment mechanism that estimates per-task confidence by combining verbalized uncertainty with historical capability profiles; (2) an adaptive delegation protocol that routes low-confidence tasks to better-suited agents through cross-agent evaluation; and (3) a capability boundary learning module that iteratively refines each agent's competence model via cybernetic feedback. Experiments on our constructed MetaCog-Eval benchmark (700 tasks across 5 cognitive dimensions) demonstrate that MetaCogAgent achieves 82.4% task accuracy -- 8.7% above the best routing baseline -- while using 5% fewer API calls than AutoGen and 34% fewer than ensemble voting. Ablation studies confirm that each metacognitive component contributes to overall system performance.


翻译:摘要:基于多智能体的大语言模型(LLM)系统通过智能体协作在解决复杂任务方面展现出潜力。然而,现有框架基于预定义角色分配任务,未考虑智能体能否准确评估自身能力边界,导致其在超出专长领域的任务中表现出过度自信。受认知科学元认知理论启发,我们提出MetaCogAgent——一种多智能体LLM框架,其中每个智能体配备元认知自我评估单元,在执行任务前评估任务与能力的匹配度。该框架包含三项贡献:(1)自我评估机制,通过结合语言化不确定性与历史能力档案估计每项任务的置信度;(2)自适应委派协议,通过跨智能体评估将低置信度任务路由至更适配的智能体;(3)能力边界学习模块,借助控制论反馈迭代优化每个智能体的能力模型。在我们构建的MetaCog-Eval基准测试(涵盖5个认知维度的700个任务)中,MetaCogAgent实现了82.4%的任务准确率——比最佳路由基线高8.7%——同时API调用次数比AutoGen少5%,比集成投票少34%。消融实验证实每个元认知组件均对系统整体性能有所贡献。

0
下载
关闭预览

相关内容

智能体,顾名思义,就是具有智能的实体,英文名是Agent。
AgentOps综述:智能体系统运维框架
专知会员服务
25+阅读 · 6月4日
智能体评判者(Agent-as-a-Judge)研究综述
专知会员服务
38+阅读 · 1月9日
LLM/智能体作为数据分析师:综述
专知会员服务
39+阅读 · 2025年9月30日
面向多智能体博弈对抗的对手建模框架
专知
19+阅读 · 2022年9月28日
【综述】多智能体强化学习算法理论研究
深度强化学习实验室
18+阅读 · 2020年9月9日
多智能体强化学习(MARL)近年研究概览
PaperWeekly
39+阅读 · 2020年3月15日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2013年12月31日
国家自然科学基金
21+阅读 · 2013年12月31日
国家自然科学基金
18+阅读 · 2009年12月31日
国家自然科学基金
50+阅读 · 2009年12月31日
国家自然科学基金
19+阅读 · 2008年12月31日
VIP会员
最新内容
反制无人机:乌克兰提供的五点启示
专知会员服务
4+阅读 · 9月23日
《各指挥层级均亟需红队能力》报告
专知会员服务
5+阅读 · 9月23日
《航电任务系统框架(FAMOS)》50页报告
专知会员服务
4+阅读 · 9月22日
《对抗行动中的人工智能与自主性》智库报告
专知会员服务
7+阅读 · 9月22日
《从数据到胜利:战争中的分析优势之争》
专知会员服务
10+阅读 · 9月22日
战争不仅需要机器人:人类仍不可或缺
专知会员服务
5+阅读 · 9月21日
《描绘美国防部创新基础设施的未来蓝图》100页
专知会员服务
10+阅读 · 9月21日
相关基金
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2013年12月31日
国家自然科学基金
21+阅读 · 2013年12月31日
国家自然科学基金
18+阅读 · 2009年12月31日
国家自然科学基金
50+阅读 · 2009年12月31日
国家自然科学基金
19+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员