The increasing integration of AI agents into cyber-physical systems (CPS) introduces new security risks that extend beyond traditional cyber or physical threat models. Recent advances in generative AI enable deepfake and semantic manipulation attacks that can compromise agent perception, reasoning, and interaction with the physical environment, while emerging protocols such as the Model Context Protocol (MCP) further expand the attack surface through dynamic tool use and cross-domain context sharing. This survey provides a comprehensive review of security threats targeting AI agents in CPS, with a particular focus on environmental interactions, deepfake-driven attacks, and MCP-mediated vulnerabilities. We organize the literature using the SENTINEL framework, a lifecycle-aware methodology that integrates threat characterization, feasibility analysis under CPS constraints, defense selection, and continuous validation. Through an end-to-end case study grounded in a real-world smart grid deployment, we quantitatively illustrate how timing, noise, and false-positive costs constrain deployable defenses, and why detection mechanisms alone are insufficient as decision authorities in safety-critical CPS. The survey highlights the role of provenance- and physics-grounded trust mechanisms and defense-in-depth architectures, and outlines open challenges toward trustworthy AI-enabled CPS.


翻译:人工智能代理在网络物理系统中的日益集成引入了超越传统网络或物理威胁模型的新型安全风险。生成式人工智能的最新进展使得深度伪造和语义操纵攻击成为可能,这些攻击可能损害代理对物理环境的感知、推理与交互能力;而诸如模型上下文协议等新兴协议通过动态工具使用和跨领域上下文共享进一步扩大了攻击面。本文对针对网络物理系统中人工智能代理的安全威胁进行了全面综述,特别聚焦于环境交互、深度伪造驱动的攻击以及模型上下文协议介导的漏洞。我们采用SENTINEL框架对文献进行系统梳理,该框架是一种生命周期感知的方法论,集成了威胁特征刻画、网络物理系统约束下的可行性分析、防御策略选择以及持续验证。通过一个基于现实世界智能电网部署的端到端案例研究,我们定量阐述了时序、噪声和误报成本如何制约可部署的防御措施,并阐明了为何在安全关键的网络物理系统中仅依赖检测机制作为决策权威是不充分的。本综述强调了基于溯源和物理原理的信任机制以及纵深防御架构的作用,并展望了构建可信人工智能赋能网络物理系统所面临的开放挑战。

0
下载
关闭预览

相关内容

机密计算保障人工智能系统安全研究报告
专知会员服务
19+阅读 · 2025年1月20日
【新书】利用生成式人工智能进行网络防御策略
专知会员服务
31+阅读 · 2024年10月18日
针对自动驾驶智能模型的攻击与防御
专知会员服务
19+阅读 · 2024年6月25日
《人工智能网络攻击带来的安全威胁》30页报告
专知会员服务
78+阅读 · 2023年5月4日
专知会员服务
46+阅读 · 2021年6月25日
人工智能模型数据泄露的攻击与防御研究综述
专知会员服务
77+阅读 · 2021年3月31日
《人工智能安全测评白皮书》,99页pdf
专知
36+阅读 · 2022年2月26日
人工智能对网络空间安全的影响
走向智能论坛
21+阅读 · 2018年6月7日
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
19+阅读 · 2015年12月31日
国家自然科学基金
20+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关VIP内容
机密计算保障人工智能系统安全研究报告
专知会员服务
19+阅读 · 2025年1月20日
【新书】利用生成式人工智能进行网络防御策略
专知会员服务
31+阅读 · 2024年10月18日
针对自动驾驶智能模型的攻击与防御
专知会员服务
19+阅读 · 2024年6月25日
《人工智能网络攻击带来的安全威胁》30页报告
专知会员服务
78+阅读 · 2023年5月4日
专知会员服务
46+阅读 · 2021年6月25日
人工智能模型数据泄露的攻击与防御研究综述
专知会员服务
77+阅读 · 2021年3月31日
相关基金
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
19+阅读 · 2015年12月31日
国家自然科学基金
20+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员