Large Language Models (LLMs) are increasingly deployed as agentic systems that plan, memorize, and act in open-world environments. This shift brings new security problems: failures are no longer only unsafe text generation, but can become real harm through tool use, persistent memory, and interaction with untrusted web content. In this survey, we provide a transition-oriented view from Secure Agentic AI to a Secure Agentic Web. We first summarize a component-aligned threat taxonomy covering prompt abuse, environment injection, memory attacks, toolchain abuse, model tampering, and agent network attacks. We then review defense strategies, including prompt hardening, safety-aware decoding, privilege control for tools and APIs, runtime monitoring, continuous red-teaming, and protocol-level security mechanisms. We further discuss how these threats and mitigations escalate in the Agentic Web, where delegation chains, cross-domain interactions, and protocol-mediated ecosystems amplify risks via propagation and composition. Finally, we highlight open challenges for web-scale deployment, such as interoperable identity and authorization, provenance and traceability, ecosystem-level response, and scalable evaluation under adaptive adversaries. Our goal is to connect recent empirical findings with system-level requirements, and to outline practical research directions toward trustworthy agent ecosystems.


翻译:大型语言模型(LLMs)正日益被部署为能够在开放世界环境中进行规划、记忆和行动的智能体系统。这一转变带来了新的安全问题:故障不再仅限于不安全的文本生成,而是可能通过工具使用、持久化记忆以及与不可信网络内容的交互造成实际危害。本综述提供了一个从安全智能体AI到安全智能体网络的转型视角。我们首先总结了一个基于组件对齐的威胁分类体系,涵盖提示滥用、环境注入、记忆攻击、工具链滥用、模型篡改和智能体网络攻击。随后,我们回顾了防御策略,包括提示强化、安全感知解码、工具与API的权限控制、运行时监控、持续红队测试以及协议级安全机制。我们进一步探讨了这些威胁与缓解措施在智能体网络中的升级情况,其中委托链、跨域交互和协议中介的生态系统通过传播与组合效应放大了风险。最后,我们重点指出了网络级部署面临的开放挑战,例如可互操作的身份认证与授权机制、溯源与可追踪性、生态系统级响应能力,以及适应型对抗环境下的可扩展评估。我们的目标是将近期实证发现与系统级需求相结合,并为构建可信智能体生态系统指明切实的研究方向。

0
下载
关闭预览

相关内容

智能体安全综述:应用、威胁与防御
专知会员服务
41+阅读 · 2025年10月12日
AI智能体编程:技术、挑战与机遇综述
专知会员服务
45+阅读 · 2025年8月18日
AgentOps综述:分类、挑战与未来方向
专知会员服务
38+阅读 · 2025年8月6日
《人工智能安全测评白皮书》,99页pdf
专知
36+阅读 · 2022年2月26日
浅谈群体智能——新一代AI的重要方向
中国科学院自动化研究所
44+阅读 · 2019年10月16日
人工智能对网络空间安全的影响
走向智能论坛
21+阅读 · 2018年6月7日
群体智能:新一代人工智能的重要方向
走向智能论坛
12+阅读 · 2017年8月16日
国家自然科学基金
19+阅读 · 2015年12月31日
国家自然科学基金
20+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2014年12月31日
VIP会员
最新内容
Palantir AIP平台:连接智能体与决策
专知会员服务
7+阅读 · 今天1:22
《美海军软件测试战略》90页slides
专知会员服务
7+阅读 · 今天1:00
面向具身智能与机器人仿真的三维生成:综述
专知会员服务
6+阅读 · 4月30日
相关基金
国家自然科学基金
19+阅读 · 2015年12月31日
国家自然科学基金
20+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员