Autonomous AI agents powered by large language models are being deployed in production with capabilities including shell execution, file system access, database queries, and multi-party communication. Recent red teaming research demonstrates that these agents exhibit critical vulnerabilities in realistic settings: unauthorized compliance with non-owner instructions, sensitive information disclosure, identity spoofing, cross-agent propagation of unsafe practices, and indirect prompt injection through external resources [7]. In healthcare environments processing Protected Health Information, every such vulnerability becomes a potential HIPAA violation. This paper presents a security architecture deployed for nine autonomous AI agents in production at a healthcare technology company. We develop a six-domain threat model for agentic AI in healthcare covering credential exposure, execution capability abuse, network egress exfiltration, prompt integrity failures, database access risks, and fleet configuration drift. We implement four-layer defense in depth: (1) kernel level workload isolation using gVisor on Kubernetes, (2) credential proxy sidecars preventing agent containers from accessing raw secrets, (3) network egress policies restricting each agent to allowlisted destinations, and (4) a prompt integrity framework with structured metadata envelopes and untrusted content labeling. We report results from 90 days of deployment including four HIGH severity findings discovered and remediated by an automated security audit agent, progressive fleet hardening across three VM image generations, and defense coverage mapped to all eleven attack patterns from recent literature. All configurations, audit tooling, and the prompt integrity framework are released as open source.


翻译:基于大语言模型的自主AI智能体正被部署于生产环境,其能力涵盖Shell执行、文件系统访问、数据库查询及多方通信。近期红队研究表明,这些智能体在真实场景中表现出严重漏洞:非所有者指令的未授权遵从、敏感信息泄露、身份欺骗、不安全实践的跨智能体传播,以及通过外部资源实现的间接提示注入[7]。在处理受保护健康信息的医疗环境中,每项漏洞都可能构成HIPAA违规。本文提出一种已在某医疗科技公司为九个生产环境自主AI智能体部署的安全架构。我们构建了涵盖六大领域的医疗AI智能体威胁模型:凭证暴露、执行能力滥用、网络出口数据窃取、提示完整性失效、数据库访问风险及集群配置漂移。我们实施四层纵深防御:(1) 基于Kubernetes gVisor的内核级工作负载隔离,(2) 通过凭证代理边车阻止智能体容器访问原始密钥,(3) 网络出口策略将各智能体限制于许可名单目标,(4) 采用结构化元数据封装与不可信内容标记的提示完整性框架。我们报告了90天部署结果:自动化安全审计智能体发现并修复四项高危问题,历经三代虚拟机镜像的渐进式集群加固,以及覆盖近期文献全部十一种攻击模式的防御映射。所有配置、审计工具及提示完整性框架均已开源发布。

0
下载
关闭预览

相关内容

人工智能杂志AI(Artificial Intelligence)是目前公认的发表该领域最新研究成果的主要国际论坛。该期刊欢迎有关AI广泛方面的论文,这些论文构成了整个领域的进步,也欢迎介绍人工智能应用的论文,但重点应该放在新的和新颖的人工智能方法如何提高应用领域的性能,而不是介绍传统人工智能方法的另一个应用。关于应用的论文应该描述一个原则性的解决方案,强调其新颖性,并对正在开发的人工智能技术进行深入的评估。 官网地址:http://dblp.uni-trier.de/db/journals/ai/
《军用自主人工智能系统的治理与安全》
专知会员服务
15+阅读 · 4月21日
《军用AI智能体的治理框架》最新报告
专知会员服务
33+阅读 · 3月8日
AI 智能体系统:体系架构、应用场景及评估范式
智能体工程(Agent Engineering)
专知会员服务
33+阅读 · 2025年12月31日
《负责任的AI智能体》最新50页
专知会员服务
60+阅读 · 2025年3月2日
AI智能体面临的威胁:关键安全挑战与未来路径综述
专知会员服务
52+阅读 · 2024年6月7日
AI Agent:基于大模型的自主智能体
专知会员服务
249+阅读 · 2023年9月9日
《人工智能安全测评白皮书》,99页pdf
专知
36+阅读 · 2022年2月26日
浅谈群体智能——新一代AI的重要方向
中国科学院自动化研究所
44+阅读 · 2019年10月16日
面向人工智能的计算机体系结构
计算机研究与发展
14+阅读 · 2019年6月6日
人工智能对网络空间安全的影响
走向智能论坛
21+阅读 · 2018年6月7日
智能时代如何构建金融反欺诈体系?
数据猿
12+阅读 · 2018年3月26日
群体智能:新一代人工智能的重要方向
走向智能论坛
12+阅读 · 2017年8月16日
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
20+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2013年12月31日
国家自然科学基金
21+阅读 · 2013年12月31日
国家自然科学基金
18+阅读 · 2009年12月31日
Arxiv
0+阅读 · 3月1日
VIP会员
最新内容
DeepSeek 版Claude Code,免费小白安装教程来了!
专知会员服务
8+阅读 · 5月5日
《美空军条令出版物 2-0:情报(2026版)》
专知会员服务
13+阅读 · 5月5日
帕兰提尔 Gotham:一个游戏规则改变器
专知会员服务
8+阅读 · 5月5日
【综述】 机器人学习中的世界模型:全面综述
专知会员服务
12+阅读 · 5月4日
伊朗的导弹-无人机行动及其对美国威慑的影响
相关VIP内容
《军用自主人工智能系统的治理与安全》
专知会员服务
15+阅读 · 4月21日
《军用AI智能体的治理框架》最新报告
专知会员服务
33+阅读 · 3月8日
AI 智能体系统:体系架构、应用场景及评估范式
智能体工程(Agent Engineering)
专知会员服务
33+阅读 · 2025年12月31日
《负责任的AI智能体》最新50页
专知会员服务
60+阅读 · 2025年3月2日
AI智能体面临的威胁:关键安全挑战与未来路径综述
专知会员服务
52+阅读 · 2024年6月7日
AI Agent:基于大模型的自主智能体
专知会员服务
249+阅读 · 2023年9月9日
相关基金
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
20+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2013年12月31日
国家自然科学基金
21+阅读 · 2013年12月31日
国家自然科学基金
18+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员