Third-party agent skills extend LLM-based agents with instruction files and executable code that run on users' machines. Skills execute with user privileges and are distributed through community registries with minimal vetting, but no ground-truth dataset exists to characterize the resulting threats. We construct the first labeled dataset of malicious agent skills by behaviorally verifying 98,380 skills from two community registries, confirming 157 malicious skills with 632 vulnerabilities. These attacks are not incidental. Malicious skills average 4.03 vulnerabilities across a median of three kill chain phases, and the ecosystem has split into two archetypes: Data Thieves that exfiltrate credentials through supply chain techniques, and Agent Hijackers that subvert agent decision-making through instruction manipulation. A single actor accounts for 54.1\% of confirmed cases through templated brand impersonation. Shadow features, capabilities absent from public documentation, appear in 0\% of basic attacks but 100\% of advanced ones; several skills go further by exploiting the AI platform's own hook system and permission flags. Responsible disclosure led to 93.6\% removal within 30 days. We release the dataset and analysis pipeline to support future work on agent skill security.


翻译:第三方智能体技能通过指令文件与可在用户设备上执行代码的方式扩展了基于大语言模型的智能体。这些技能以用户权限执行,并通过社区注册库以最低审核标准分发,但目前缺乏能够描述相关威胁的真实数据集。我们通过行为验证从两个社区注册库获取的98,380个技能,构建了首个带标签的恶意智能体技能数据集,确认了包含632个漏洞的157个恶意技能。这些攻击并非偶然现象:恶意技能平均在每个技能中位数为三个攻击链阶段内存在4.03个漏洞,且该生态系统已分化为两种典型模式:通过供应链技术窃取凭证的"数据窃取者",以及通过指令操控破坏智能体决策的"智能体劫持者"。单一攻击者通过模板化品牌仿冒手段制造了54.1%的已确认案例。公开文档未记载的隐蔽功能在基础攻击中出现率为0%,在高级攻击中达到100%;部分技能更进一步利用AI平台自身的钩子系统与权限标识进行攻击。通过责任披露,93.6%的恶意技能在30天内被移除。我们公开数据集与分析流程以支持未来智能体技能安全研究。

0
下载
关闭预览

相关内容

伯克利最新《智能体 AI (Agentic AI)》课程
专知会员服务
44+阅读 · 3月1日
AI智能体时代大模型安全风险与攻防新挑战
专知会员服务
12+阅读 · 2月27日
智能体工程(Agent Engineering)
专知会员服务
33+阅读 · 2025年12月31日
智能体安全综述:应用、威胁与防御
专知会员服务
41+阅读 · 2025年10月12日
大模型智能体:概念、前沿和产业实践
专知会员服务
77+阅读 · 2024年8月20日
AI智能体面临的威胁:关键安全挑战与未来路径综述
专知会员服务
52+阅读 · 2024年6月7日
《人工智能安全测评白皮书》,99页pdf
专知
36+阅读 · 2022年2月26日
国家自然科学基金
4+阅读 · 2017年12月31日
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2013年12月31日
国家自然科学基金
18+阅读 · 2009年12月31日
VIP会员
最新内容
以色列运用人工智能优化空袭警报系统
专知会员服务
0+阅读 · 11分钟前
以色列在多条战线部署AI智能体
专知会员服务
0+阅读 · 19分钟前
2025年大语言模型进展报告
专知会员服务
10+阅读 · 4月25日
多智能体协作机制
专知会员服务
10+阅读 · 4月25日
非对称优势:美海军开发低成本反无人机技术
专知会员服务
9+阅读 · 4月25日
《美战争部小企业创新研究(SBIR)计划》
专知会员服务
8+阅读 · 4月25日
《军事模拟:将军事条令与目标融入AI智能体》
专知会员服务
12+阅读 · 4月25日
【NTU博士论文】3D人体动作生成
专知会员服务
9+阅读 · 4月24日
以色列军事技术对美国军力发展的持续性赋能
专知会员服务
9+阅读 · 4月24日
相关基金
国家自然科学基金
4+阅读 · 2017年12月31日
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2013年12月31日
国家自然科学基金
18+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员