为了应对人们对生成式人工智能(GenAI)模型的安全性、保障性和可信性日益增长的担忧,从业者和监管者都将人工智能 "红队"(red-teaming)作为其识别和降低这些风险的战略的关键组成部分。然而,尽管人工智能红队在政策讨论和企业信息传递中扮演着核心角色,但对于它的确切含义、它在监管中能发挥什么作用,以及它与网络安全领域最初设想的传统红队实践之间的关系,仍然存在重大疑问。在这项工作中,我们确定了人工智能行业最近的 "红队"活动案例,并对相关研究文献进行了广泛调查,以确定人工智能 "红队"实践的范围、结构和标准。我们的分析表明,先前的人工智能 "红队"方法和实践在几个方面存在分歧,包括活动的目的(通常比较模糊)、被评估的人工智能产品、开展活动的环境(如参与者、资源和方法),以及由此产生的决策(如报告、披露和缓解)。根据我们的研究结果,我们认为,虽然 "红队 "可能是描述 GenAI 危害缓解措施的一个有价值的大帐篷想法,而且行业可能会闭门有效地应用 "红队 "和其他策略来保护人工智能,但将 "红队"(基于公开定义)作为解决所有可能风险的“万能药”的姿态近乎不可能。为了为生成式人工智能提供一个更强大的评估工具箱,我们将我们的建议综合成一个问题库,旨在指导和支持未来的人工智能 "红队"实践。

表 1:提出的用于指导未来人工智能红队活动的一系列问题。

成为VIP会员查看完整内容
56

相关内容

军事防务数据板块介绍:系统化采集、存储、管理、分析与军事国防安全相关信息的专用数据板块,其核心在于整合全球新兴国防技术(军事人工智能、无人系统等)、热点案例(俄乌战争、美以伊战争)等方面的最新时讯、研究报告/论文、条令法规、案例分析,为战略研判、情报分析、决策支持等提供知识支撑。
《人工智能与影响力作战:最新趋势》2024最新39页报告
专知会员服务
45+阅读 · 2024年6月11日
《数字孪生:安全威胁综合性综述》73页长综述
专知会员服务
34+阅读 · 2024年5月23日
《大模型对齐方法》最新综述
专知会员服务
85+阅读 · 2024年3月8日
《武器系统中的人工智能》2023最新100页报告
专知会员服务
151+阅读 · 2023年12月13日
《自动化的网络防御:综述》2023最新32页长综述
专知会员服务
33+阅读 · 2023年6月19日
《攻击和欺骗军事人工智能系统》2023最新48页报告
专知会员服务
152+阅读 · 2023年6月16日
《攻击性人工智能》最新62页报告
专知会员服务
126+阅读 · 2023年3月29日
联邦学习安全与隐私保护研究综述
专知
12+阅读 · 2020年8月7日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
17+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
176+阅读 · 2023年4月20日
A Survey of Large Language Models
Arxiv
501+阅读 · 2023年3月31日
Arxiv
182+阅读 · 2023年3月24日
Arxiv
27+阅读 · 2023年3月17日
VIP会员
最新内容
【剑桥博士论文】智能体-环境协同优化
专知会员服务
3+阅读 · 今天14:33
为初级军官战术训练设计生成式人工智能平台
专知会员服务
5+阅读 · 今天6:43
《美军条令:作战伤员后送保障》
专知会员服务
4+阅读 · 今天6:38
《美空军条令出版物 4-0,维持》
专知会员服务
4+阅读 · 今天6:32
《基于仿真的空军任务规划优化》
专知会员服务
4+阅读 · 今天6:21
相关VIP内容
《人工智能与影响力作战:最新趋势》2024最新39页报告
专知会员服务
45+阅读 · 2024年6月11日
《数字孪生:安全威胁综合性综述》73页长综述
专知会员服务
34+阅读 · 2024年5月23日
《大模型对齐方法》最新综述
专知会员服务
85+阅读 · 2024年3月8日
《武器系统中的人工智能》2023最新100页报告
专知会员服务
151+阅读 · 2023年12月13日
《自动化的网络防御:综述》2023最新32页长综述
专知会员服务
33+阅读 · 2023年6月19日
《攻击和欺骗军事人工智能系统》2023最新48页报告
专知会员服务
152+阅读 · 2023年6月16日
《攻击性人工智能》最新62页报告
专知会员服务
126+阅读 · 2023年3月29日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
17+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
微信扫码咨询专知VIP会员