LLM-based agents are now used throughout cybersecurity. While these agents facilitate powerful and autonomous security applications, their autonomy opens up new attack surfaces, and the security community is actively building defenses to secure them. Yet the literature on this subject has grown quickly and unevenly. Existing surveys treat applications, threats, and defenses in isolation, leaving no unified account of how an agent's capabilities, vulnerabilities, and countermeasures interconnect. In this work we present the first holistic survey of the agentic security landscape, structuring the field around the fundamental pillars of Applications, Threats and Defenses. We provide a comprehensive taxonomy of over 260 papers, explaining how agents are used in downstream cybersecurity applications, inherent threats to agentic systems, and countermeasures designed to protect them. In addition, we provide detailed pillar-specific and cross-cutting analyses that show the security-lifecycle coverage of agentic applications, comparison between red-teaming and blue-teaming agents, and the adversarial use of red-teaming applications. On the threat side, we analyze the entry points and agent-loop stages that attacks target, their specificity to the agentic setting, and the threat models they assume. On the defense side, we analyze the prevailing defense strategies, their cost and security trade-offs, and where in the agent lifecycle they are deployed. We further map which defenses cover which attack classes and chart trends in agent architecture, backbone model usage, data modality coverage, and the growth of attack and defense research over time. Taken together, these findings indicate that agentic systems are structurally fragile by default and that securing them will require defenses that span the full agent lifecycle rather than single-layer fixes.


翻译:基于大语言模型的智能体现已广泛部署于网络安全领域。尽管这些智能体能够支撑强大且自主的安全应用,但其自主性也催生了新的攻击面,安全领域正积极构建防御机制以保障其安全性。然而,相关文献增长迅速且发展不均。现有综述孤立地研究应用、威胁与防御,未能统一阐述智能体能力、脆弱性与防御措施之间的内在关联。本文首次对智能体安全领域进行整体性综述,围绕应用、威胁与防御三大核心支柱构建学科框架。我们基于260余篇论文构建了综合性分类体系,系统阐释了智能体在下游网络安全应用中的使用方式、智能体系统固有的威胁类型,以及为保护这些系统而设计的防御措施。此外,我们提供面向各支柱及跨领域的深度分析,揭示智能体应用的安全生命周期覆盖度、红蓝对抗智能体的比较研究,以及红队应用在对抗场景中的使用。在威胁层面,我们分析了攻击所针对的入口点和智能体循环阶段、这些攻击对智能体场景的特异性,以及它们所假设的威胁模型。在防御层面,我们解析了主流防御策略、其成本与安全权衡、以及在智能体生命周期中的部署位置。我们进一步梳理了各类防御措施覆盖的攻击类别,并绘制了智能体架构、基座模型使用、数据模态覆盖度的演变趋势,以及攻击与防御研究随时间的增长情况。综合来看,这些研究发现表明智能体系统在结构上存在固有脆弱性,其安全保障需要覆盖完整智能体生命周期的防御方案,而非单层修补。

0
下载
关闭预览

相关内容

《人工智能在网络防御中的机遇》
专知会员服务
9+阅读 · 6月8日
智能体技能综合综述:分类、技术与应用
专知会员服务
33+阅读 · 5月11日
具身AI安全综述:风险、攻击与防御
专知会员服务
11+阅读 · 5月6日
智能体安全综述:应用、威胁与防御
专知会员服务
43+阅读 · 2025年10月12日
AI智能体面临的威胁:关键安全挑战与未来路径综述
专知会员服务
53+阅读 · 2024年6月7日
《人工智能安全测评白皮书》,99页pdf
专知
36+阅读 · 2022年2月26日
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
19+阅读 · 2015年12月31日
国家自然科学基金
20+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2009年12月31日
VIP会员
最新内容
综述 | 从问答到任务完成:Agent系统与Harness设计
专知会员服务
0+阅读 · 54分钟前
Agentic RL:框架、实践与长程智能体训练
专知会员服务
0+阅读 · 56分钟前
重新思考无人机时代的生存能力
专知会员服务
5+阅读 · 今天7:44
装甲突击旅:现代战争思考、战斗与组织
专知会员服务
4+阅读 · 今天7:28
在人工智能加速决策环境中拓展OODA循环
专知会员服务
4+阅读 · 今天7:18
军事欺骗:供作战战术指挥官使用的工具
专知会员服务
4+阅读 · 今天7:03
综述 | 世界动作模型:少做梦,多行动
专知会员服务
6+阅读 · 6月23日
美以伊冲突:无人机与人工智能的运用
专知会员服务
10+阅读 · 6月23日
《特种部队在透明战场中的生存力》最新报告
专知会员服务
5+阅读 · 6月23日
相关VIP内容
《人工智能在网络防御中的机遇》
专知会员服务
9+阅读 · 6月8日
智能体技能综合综述:分类、技术与应用
专知会员服务
33+阅读 · 5月11日
具身AI安全综述:风险、攻击与防御
专知会员服务
11+阅读 · 5月6日
智能体安全综述:应用、威胁与防御
专知会员服务
43+阅读 · 2025年10月12日
AI智能体面临的威胁:关键安全挑战与未来路径综述
专知会员服务
53+阅读 · 2024年6月7日
相关资讯
《人工智能安全测评白皮书》,99页pdf
专知
36+阅读 · 2022年2月26日
相关基金
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
19+阅读 · 2015年12月31日
国家自然科学基金
20+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员