As agentic AI systems move beyond static question answering into open-ended, tool-augmented, and multi-step real-world workflows, their increased authority poses greater risks of system misuse and operational failures. However, current evaluation practices remain fragmented, measuring isolated capabilities such as coding, hallucination, jailbreak resistance, or tool use in narrowly defined settings. We argue that the central limitation is not merely insufficient coverage of evaluation dimensions, but the lack of a principled notion of representativeness: an agent's trustworthiness should be assessed over a representative socio-technical scenario distribution rather than a collection of disconnected benchmark instances. To this end, we propose the Holographic Agent Assessment Framework (HAAF), a systematic evaluation paradigm that characterizes agent trustworthiness over a scenario manifold spanning task types, tool interfaces, interaction dynamics, social contexts, and risk levels. The framework integrates four complementary components: (i) static cognitive and policy analysis, (ii) interactive sandbox simulation, (iii) social-ethical alignment assessment, and (iv) a distribution-aware representative sampling engine that jointly optimizes coverage and risk sensitivity -- particularly for rare but high-consequence tail risks that conventional benchmarks systematically overlook. These components are connected through an iterative Trustworthy Optimization Factory. Through cycles of red-team probing and blue-team hardening, this paradigm progressively narrows the vulnerabilities to meet deployment standards, shifting agent evaluation from benchmark islands toward representative, real-world trustworthiness. Code and data for the illustrative instantiation are available at https://github.com/TonyQJH/haaf-pilot.


翻译:随着智能体人工智能系统从静态问答迈向开放式、工具增强型、多步骤的真实世界工作流程,其日益增长的自主权带来了更大的系统滥用与操作失败风险。然而,当前的评估实践仍呈碎片化状态,仅在狭义定义的环境中测量孤立能力,如代码生成、幻觉抑制、越狱抵抗或工具使用。我们认为,核心局限不仅在于评估维度覆盖不足,更在于缺乏原则性的代表性概念:智能体的可信度应基于具有代表性的社会技术场景分布进行评估,而非一系列互不关联的基准实例。为此,我们提出全息智能体评估框架,这是一种系统化评估范式,通过跨越任务类型、工具接口、交互动态、社会语境和风险层级的场景流形来刻画智能体可信度。该框架整合了四个互补组件:(i) 静态认知与策略分析,(ii) 交互式沙箱模拟,(iii) 社会伦理对齐评估,以及 (iv) 分布感知的代表性采样引擎——该引擎联合优化覆盖度与风险敏感性,尤其针对传统基准系统性忽略的罕见但高影响的尾部风险。这些组件通过迭代式可信优化工厂相互连接。通过红队探测与蓝队加固的循环,该范式逐步缩小漏洞以满足部署标准,将智能体评估从基准孤岛转向具有代表性的真实世界可信度。示例实现的代码与数据发布于 https://github.com/TonyQJH/haaf-pilot。

0
下载
关闭预览

相关内容

通用智能体评估的逻辑架构
专知会员服务
20+阅读 · 2月28日
AI 智能体系统:体系架构、应用场景及评估范式
面向应用的智能体 AI 系统价值对齐:综述与展望
专知会员服务
25+阅读 · 2025年6月12日
人工智能系统可信性度量评估研究综述
专知会员服务
95+阅读 · 2022年1月30日
《人工智能安全测评白皮书》,99页pdf
专知
36+阅读 · 2022年2月26日
浅谈群体智能——新一代AI的重要方向
中国科学院自动化研究所
44+阅读 · 2019年10月16日
人工智能对网络空间安全的影响
走向智能论坛
21+阅读 · 2018年6月7日
群体智能:新一代人工智能的重要方向
走向智能论坛
12+阅读 · 2017年8月16日
国家自然科学基金
4+阅读 · 2017年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
28+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2013年12月31日
国家自然科学基金
12+阅读 · 2013年12月31日
国家自然科学基金
21+阅读 · 2013年12月31日
国家自然科学基金
18+阅读 · 2009年12月31日
Arxiv
0+阅读 · 2月23日
VIP会员
相关基金
国家自然科学基金
4+阅读 · 2017年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
28+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2013年12月31日
国家自然科学基金
12+阅读 · 2013年12月31日
国家自然科学基金
21+阅读 · 2013年12月31日
国家自然科学基金
18+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员