The integration of external data services (e.g., Model Context Protocol, MCP) has made large language model-based agents increasingly powerful for complex task execution. However, this advancement introduces critical security vulnerabilities, particularly indirect prompt injection (IPI) attacks. Existing attack methods are limited by their reliance on static patterns and evaluation on simple language models, failing to address the fast-evolving nature of modern AI agents. We introduce AdapTools, a novel adaptive IPI attack framework that selects stealthier attack tools and generates adaptive attack prompts to create a rigorous security evaluation environment. Our approach comprises two key components: (1) Adaptive Attack Strategy Construction, which develops transferable adversarial strategies for prompt optimization, and (2) Attack Enhancement, which identifies stealthy tools capable of circumventing task-relevance defenses. Comprehensive experimental evaluation shows that AdapTools achieves a 2.13 times improvement in attack success rate while degrading system utility by a factor of 1.78. Notably, the framework maintains its effectiveness even against state-of-the-art defense mechanisms. Our method advances the understanding of IPI attacks and provides a useful reference for future research.


翻译:外部数据服务(如模型上下文协议,MCP)的集成使得基于大语言模型的智能体在执行复杂任务时日益强大。然而,这一进步也引入了关键的安全漏洞,特别是间接提示注入(IPI)攻击。现有攻击方法受限于对静态模式的依赖以及对简单语言模型的评估,未能应对现代AI智能体快速演变的特性。本文提出AdapTools,一种新颖的自适应IPI攻击框架,通过选择更具隐蔽性的攻击工具并生成自适应攻击提示,构建了严格的安全评估环境。我们的方法包含两个关键组成部分:(1)自适应攻击策略构建,该部分为提示优化开发可迁移的对抗策略;(2)攻击增强,该部分识别能够规避任务相关性防御的隐蔽工具。全面的实验评估表明,AdapTools在攻击成功率上实现了2.13倍的提升,同时使系统效用降低了1.78倍。值得注意的是,即使面对最先进的防御机制,该框架仍能保持其有效性。我们的方法深化了对IPI攻击的理解,并为未来研究提供了有价值的参考。

0
下载
关闭预览

相关内容

大语言模型越狱攻击:模型、根因及其攻防演化
专知会员服务
22+阅读 · 2025年4月28日
专知会员服务
48+阅读 · 2021年5月17日
国家自然科学基金
4+阅读 · 2017年12月31日
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2009年12月31日
VIP会员
相关基金
国家自然科学基金
4+阅读 · 2017年12月31日
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员