Contemporary AI-driven cybersecurity systems are predominantly architected as model-centric detection and automation pipelines optimized for task-level performance metrics such as accuracy and response latency. While effective for bounded classification tasks, these architectures struggle to support accountable decision-making under adversarial uncertainty, where actions must be justified, governed, and aligned with organizational and regulatory constraints. This paper argues that cybersecurity orchestration should be reconceptualized as an agentic, multi-agent cognitive system, rather than a linear sequence of detection and response components. We introduce a conceptual architectural framework in which heterogeneous AI agents responsible for detection, hypothesis formation, contextual interpretation, explanation, and governance are coordinated through an explicit meta-cognitive judgement function. This function governs decision readiness and dynamically calibrates system autonomy when evidence is incomplete, conflicting, or operationally risky. By synthesizing distributed cognition theory, multi-agent systems research, and responsible AI governance frameworks, we demonstrate that modern security operations already function as distributed cognitive systems, albeit without an explicit organizing principle. Our contribution is to make this cognitive structure architecturally explicit and governable by embedding meta-cognitive judgement as a first-class system function. We discuss implications for security operations centers, accountable autonomy, and the design of next-generation AI-enabled cyber defence architectures. The proposed framework shifts the focus of AI in cybersecurity from optimizing isolated predictions to governing autonomy under uncertainty.


翻译:当代人工智能驱动的网络安全系统主要被设计为以模型为中心的检测与自动化流程,其优化目标为任务级性能指标(如准确率与响应延迟)。尽管此类架构在有限分类任务中表现有效,但在对抗性不确定环境下,它们难以支持可问责的决策过程——此类场景要求行动具备可解释性、受治理性,且符合组织与监管约束。本文主张网络安全编排应被重新概念化为一种智能体化的多智能体认知系统,而非线性的检测与响应组件序列。我们提出一种概念性架构框架,其中负责检测、假设生成、上下文解释、可解释性与治理的异构人工智能智能体,通过显式的元认知判断函数进行协调。该函数在证据不完整、相互冲突或存在操作风险时,管理决策就绪状态并动态校准系统自主性。通过综合分布式认知理论、多智能体系统研究与负责任的人工智能治理框架,我们论证了现代安全运营本质上已作为分布式认知系统运作,尽管缺乏明确的组织原则。本研究的贡献在于通过将元认知判断嵌入为系统的一等核心功能,使这种认知结构在架构层面显式化且可治理。我们探讨了该框架对安全运营中心、可问责自主性以及新一代人工智能赋能网络防御架构设计的影响。所提出的框架将网络安全中人工智能的关注点,从优化孤立预测转向在不确定性下治理自主性。

0
下载
关闭预览

相关内容

网络科学赋能人工智能: 现状与展望
专知会员服务
20+阅读 · 2025年12月6日
《人工智能安全标准体系(V1.0)》(征求意见稿)
专知会员服务
29+阅读 · 2025年3月23日
人工智能、模块化开放系统架构和未来无人战争
专知会员服务
83+阅读 · 2024年4月4日
人工智能安全挑战及治理研究
专知会员服务
67+阅读 · 2023年6月18日
【2023新书】人工智能在网络安全中的应用,215页pdf
专知会员服务
103+阅读 · 2023年5月5日
人工智能与国家政治安全
专知会员服务
66+阅读 · 2022年6月29日
专知会员服务
63+阅读 · 2021年7月5日
专知会员服务
46+阅读 · 2021年6月25日
《人工智能安全框架(2020年)》白皮书,68页pdf
专知会员服务
167+阅读 · 2021年1月9日
《人工智能安全测评白皮书》,99页pdf
专知
36+阅读 · 2022年2月26日
面向人工智能的计算机体系结构
计算机研究与发展
14+阅读 · 2019年6月6日
【知识图谱】知识图谱+人工智能=新型网络信息体系
产业智能官
14+阅读 · 2018年11月18日
人工智能对网络空间安全的影响
走向智能论坛
21+阅读 · 2018年6月7日
群体智能:新一代人工智能的重要方向
走向智能论坛
12+阅读 · 2017年8月16日
【强化学习】强化学习+深度学习=人工智能
产业智能官
55+阅读 · 2017年8月11日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
19+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
20+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 2月10日
VIP会员
相关VIP内容
网络科学赋能人工智能: 现状与展望
专知会员服务
20+阅读 · 2025年12月6日
《人工智能安全标准体系(V1.0)》(征求意见稿)
专知会员服务
29+阅读 · 2025年3月23日
人工智能、模块化开放系统架构和未来无人战争
专知会员服务
83+阅读 · 2024年4月4日
人工智能安全挑战及治理研究
专知会员服务
67+阅读 · 2023年6月18日
【2023新书】人工智能在网络安全中的应用,215页pdf
专知会员服务
103+阅读 · 2023年5月5日
人工智能与国家政治安全
专知会员服务
66+阅读 · 2022年6月29日
专知会员服务
63+阅读 · 2021年7月5日
专知会员服务
46+阅读 · 2021年6月25日
《人工智能安全框架(2020年)》白皮书,68页pdf
专知会员服务
167+阅读 · 2021年1月9日
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
19+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
20+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员