Memory is a core component of AI agents, enabling them to accumulate knowledge across interactions and improve performance. However, persistent memory introduces the risk of memory poisoning, where a single adversarial memory write can exert long-term influence over agent behavior. We present a systematic study of memory poisoning in LLM-based agents. We identify four memory write channels and nine structural vulnerabilities in model capabilities, system prompt design, and agent system architecture that make these channels exploitable. Based on these vulnerabilities, we develop a taxonomy of six classes of memory poisoning attacks. Furthermore, we design MPBench -- a benchmark for evaluating memory poisoning attacks, and show that agents designed to write and retrieve memory more aggressively are more exploitable. We also show that existing prompt injection defenses fail to cover memory poisoning attacks. Our findings provide a foundation for understanding and mitigating memory poisoning attacks against AI agents.


翻译:记忆是AI代理的核心组件,使其能够跨交互积累知识并提升性能。然而,持久性记忆带来了记忆中毒的风险——单次对抗性记忆写入即可对代理行为产生长期影响。我们对基于LLM的代理中的记忆中毒进行了系统性研究,识别出四个记忆写入通道以及模型能力、系统提示设计和代理系统架构中的九类结构性漏洞,这些漏洞使得上述通道可被利用。基于这些漏洞,我们建立了一个包含六类记忆中毒攻击的分类体系。此外,我们设计了MPBench——一个用于评估记忆中毒攻击的基准测试,并证明设计为更积极进行记忆写入和检索的代理更具可攻击性。我们还发现现有提示注入防御措施无法覆盖记忆中毒攻击。我们的研究为理解和防御针对AI代理的记忆中毒攻击奠定了基础。

0
下载
关闭预览

相关内容

综述 | Always-On Agents:LLM智能体持久状态与治理
专知会员服务
22+阅读 · 6月30日
深度学习中的数据投毒:综述
专知会员服务
30+阅读 · 2025年4月1日
可信赖LLM智能体的研究综述:威胁与应对措施
专知会员服务
37+阅读 · 2025年3月17日
《以人为中心的大型语言模型(LLM)研究综述》
专知会员服务
41+阅读 · 2024年11月25日
专知会员服务
68+阅读 · 2021年1月10日
注意力机制可解释吗?这篇ACL 2019论文说……
机器之心
11+阅读 · 2019年6月16日
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
最新内容
反制无人机:乌克兰提供的五点启示
专知会员服务
4+阅读 · 9月23日
《各指挥层级均亟需红队能力》报告
专知会员服务
5+阅读 · 9月23日
《航电任务系统框架(FAMOS)》50页报告
专知会员服务
4+阅读 · 9月22日
《对抗行动中的人工智能与自主性》智库报告
专知会员服务
7+阅读 · 9月22日
《从数据到胜利:战争中的分析优势之争》
专知会员服务
10+阅读 · 9月22日
战争不仅需要机器人:人类仍不可或缺
专知会员服务
5+阅读 · 9月21日
《描绘美国防部创新基础设施的未来蓝图》100页
专知会员服务
10+阅读 · 9月21日
相关基金
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员