摘要：“大模型评判者”（LLM-as-a-Judge）通过利用大语言模型实现可扩展的评估，极大程度地变革了人工智能评价范式。然而，随着被评估对象（Evaluands）日益复杂化、专业化且呈现多步任务特征，LLM-as-a-Judge 的可靠性受到其固有偏见、浅层单次推理以及缺乏现实世界观测验证能力的制约。这一现状催化了向“智能体评判者”（Agent-as-a-Judge）的范式转型。在此范式下，智能体评判者通过引入规划（Planning）、工具增强验证（Tool-augmented verification）、多智能体协作及持久内存，实现了更具鲁棒性、可验证且细致的评估。尽管智能体化评估系统正迅速涌现，但该领域仍缺乏统一的框架以梳理这一动态演变过程。为弥补该空白，本文提出了首个全面综述。具体而言，我们识别了界定此范式转变的关键维度，并构建了系统性的发展分类学（Taxonomy）。我们对核心方法论进行了梳理，并综述了其在通用及专业领域的应用现状。此外，本文进一步分析了前沿挑战并探讨了极具潜力的研究方向，旨在为下一代智能体化评估研究提供清晰的发展路线图。 **项目主页：**https://github.com/ModalityDance/Awesome-Agent-as-a-Judge

1 引言

大语言模型（LLMs）的飞速进步彻底改变了 AI 评估领域，催生了“大模型评判者”（LLM-as-a-Judge）范式 [1]。由于传统指标难以捕捉语义层面的细微差别，且人工评价无法大规模扩展，这种新方法利用 LLM 先进的理解与决策能力，在多个领域实现了接近人类水平的质量评估 [2]。此外，作为人类偏好的可扩展代理，LLM 评判者能够为强化学习提供奖励信号 [3]，并实现大规模合成数据集的自动构建 [4]。因此，LLM 评判已成为 AI 评估与优化管线中的基石，其评判的精准度直接决定了下游应用的成败 [5]。 然而，随着生成式 AI 应用从简单的文本响应演变为跨专业领域的复杂多步任务，LLM-as-a-Judge 的可靠性不可避免地受到了限制 [2, 6]。首先，单次推理评估器（Single-pass evaluators）极易受到固有参数化偏见的影响——例如倾向于冗长文本或其自身的输出模式——这在评估偏离其训练分布的高复杂度响应时，会损害其公正性 [7]。其次，传统的 LLM 评判者多为“被动观察者”，无法对现实世界的观测结果做出反应；它们仅基于语言模式评估答案而缺乏验证，导致在专业领域产生“幻觉评估” [8]。此外，在需要多维度评估准则的任务中，传统 LLM 评判者试图在单次推理中全面评估所有维度时，会产生认知过载（Cognitive overload），从而导致评分粒度过粗，无法反映具体的细微差别 [9]。 这些局限性促成了从 LLM-as-a-Judge 向 Agent-as-a-Judge 的范式转型。如图 1 所示，智能体评判者通过多种能力主动参与评估：它们将复杂目标拆解为子任务，通过多智能体协作缓解偏见 [10]，利用工具增强的证据收集与正确性检查实现评估的实证锚定（Grounding） [8]，并通过持久化中间状态、自主规划推理步骤来实现精细化评估 [11, 12]。这一范式转变实现了更具鲁棒性、可验证且细致的评估，有效应对了复杂 AI 生成对象的多维特性。 尽管智能体化评估系统具备上述潜力且正迅速涌现，但该领域仍缺乏一份综述来总结并指引这一不断变化的景观。为填补这一空白，本文通过以下贡献提出了首个关于 Agent-as-a-Judge 的全面综述： * 我们识别并表征了从 LLM-as-a-Judge 向 Agent-as-a-Judge 的转变，并将智能体评判者的发展趋势总结为三个演进阶段（第 2 节）。 * 我们根据智能体的能力，将核心方法论组织为五个关键部分（第 3 节），并调研了其在通用和专业领域的应用（第 4 节）。 * 我们分析了前沿挑战并确定了有前景的研究方向，为构建下一代鲁棒且可验证的 AI 评判体系提供了战略路线图。