As AI agents automate critical workloads, they remain vulnerable to indirect prompt injection (IPI) attacks. Current defenses rely on monitoring protocols that jointly evaluate an agent's Chain-of-Thought (CoT) and tool-use actions to ensure alignment with user intent. We demonstrate that these monitoring-based defenses can be bypassed via a novel Agent-as-a-Proxy attack, where prompt injection attacks treat the agent as a delivery mechanism, bypassing both agent and monitor simultaneously. While prior work on scalable oversight has focused on whether small monitors can supervise large agents, we show that even frontier-scale monitors are vulnerable. Large-scale monitoring models like Qwen2.5-72B can be bypassed by agents with similar capabilities, such as GPT-4o mini and Llama-3.1-70B. On the AgentDojo benchmark, we achieve a high attack success rate against AlignmentCheck and Extract-and-Evaluate monitors under diverse monitoring LLMs. Our findings suggest current monitoring-based agentic defenses are fundamentally fragile regardless of model scale.


翻译:随着AI代理自动化关键工作负载,它们仍然容易受到间接提示注入攻击。当前防御依赖于监控协议,该协议联合评估代理的思维链和工具使用行为,以确保与用户意图保持一致。我们证明,这些基于监控的防御可以通过一种新颖的“代理作为代理”攻击被绕过,其中提示注入攻击将代理视为传递机制,同时绕过代理和监控器。虽然先前关于可扩展监督的研究关注小型监控器能否监督大型代理,但我们表明即使是前沿规模的监控器也容易受到攻击。像Qwen2.5-72B这样的大规模监控模型可以被具有类似能力的代理(如GPT-4o mini和Llama-3.1-70B)绕过。在AgentDojo基准测试中,我们在多种监控大语言模型下,对AlignmentCheck和Extract-and-Evaluate监控器实现了高攻击成功率。我们的研究结果表明,无论模型规模如何,当前基于监控的代理防御本质上都是脆弱的。

0
下载
关闭预览

相关内容

【新书】利用生成式人工智能进行网络防御策略
专知会员服务
31+阅读 · 2024年10月18日
《人工智能网络攻击带来的安全威胁》30页报告
专知会员服务
78+阅读 · 2023年5月4日
专知会员服务
46+阅读 · 2021年6月25日
深度学习赋能的恶意代码攻防研究进展
专知会员服务
30+阅读 · 2021年4月11日
AI新方向:对抗攻击
网易智能菌
10+阅读 · 2018年11月14日
腾讯:机器学习构建通用的数据异常检测平台
全球人工智能
11+阅读 · 2018年5月1日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
19+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2009年12月31日
VIP会员
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
19+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员