为了部署能够投入生产并在密级、合规性与政策约束下运行的人工智能,机构领导者必须以分层视角看待人工智能安全。

随着联邦政府依据国家人工智能行动计划加速采用人工智能,各机构正竞相将人工智能引入任务系统。特别是国防部,看到了人工智能帮助分析员管理海量数据并保持对对手优势的潜力。

然而,大多数人工智能项目从未走出实验室——并非因为模型不完善,而是因为其数据基础、可追溯性和治理过于薄弱。在任务环境中,尤其是在本地部署和物理隔离的云区域,没有安全、透明且治理良好的数据,就不可能实现可信赖的人工智能。

为了部署能够投入生产并在密级、合规性与政策约束下运行的人工智能,联邦机构领导者必须以分层视角看待人工智能安全。

安全与治理层级

人工智能涵盖机器学习、机器人技术和计算机视觉等多个领域。本次讨论,我们聚焦于人工智能增长最快的领域之一:作为决策支持工具的自然语言处理和生成式人工智能。

本质上,这些基于大语言模型的系统是在海量公共数据上训练出来的复杂“黑箱”。它们自身并不理解特定的任务、机构或作战区域。为了使它们在政府中有用,团队通常将基础模型与专有任务数据结合,通常使用检索增强生成技术,即检索相关文档并将其作为每次回答的上下文。

安全和治理挑战正由此开始。

层级1:基础设施——熟悉的基础

好消息是,人工智能的基础设施层看起来与其他任何高价值系统非常相似。无论机构是部署数据库、Web应用程序还是人工智能服务,其“运行授权”流程、网络隔离、安全控制和持续监控都适用。

层级2:保护人工智能增强数据带来的挑战

数据层是人工智能安全与商业应用差异最为显著的地方。在RAG系统中,任务文档被检索出来作为模型查询的上下文。如果检索过程不强制实施密级和访问控制,系统可能产生导致安全事件的结果。

试想一个单一的人工智能系统为多个密级的机密文档建立索引。在检索层深处,系统提取了一份高度相关的文档来增强查询,但其密级超出了分析员的访问权限。分析员从未看到原始文档;看到的只是一个简洁、概括性的答案,而这同时也是一次数据泄露。

联邦机构人工智能的下一个前沿取决于精细的、基于属性的访问控制。

每个文档——以及每个向量化的数据块——都必须用密级、注意事项、源系统、隔离区段和现有访问控制列表进行标记。这通常通过为不同密级数据构建独立的“存储仓”来解决,但这种方法会导致数据重复、上下文丢失和操作复杂性。更安全、更具扩展性的解决方案在于建立一个具有强大、基于属性过滤功能的单一语义索引。

层级3:模型与人工智能供应链

机构可能使用托管模型、微调自己的模型,或将第三方或开源模型导入物理隔离环境。在所有情况下,模型都应被视为软件供应链的一部分:

  • 将模型保持在安全飞地内,确保提示词和输出永不跨越未经控制的边界。
  • 保护训练管道免受数据投毒攻击,此类攻击可能扭曲输出或引入隐藏的安全风险。
  • 在使用前严格扫描和测试第三方模型。

如果没有关于模型如何获取、托管、更新和退役的明确政策,“一次性实验”很容易演变成长期风险。

此层级的挑战在于商业云区域与政府云区域之间的“功能代差”。商业环境能更早获得最新的人工智能服务及其安全增强功能。在这些能力获得授权并在物理隔离区域可用之前,机构可能被迫依赖旧工具或构建临时解决方案。

治理、日志记录与负责任的人工智能

人工智能治理必须扩展到技术团队之外。政策、法律、合规和任务领导层都对人工智能的部署方式拥有利害关系。

最重要的三个主题是:

  1. 可追溯性与透明度。分析员必须能够看到哪些信息源影响了结果,并能验证底层文档。
  2. 深度日志记录与审计。每次查询都应记录谁问了什么、运行了哪个模型、检索了哪些数据以及应用了哪些过滤器。
  3. 与新兴框架保持一致。国防部的“负责任人工智能原则”和美国国家标准与技术研究院的人工智能风险指南提供了框架,但前提是政策制定者足够了解人工智能才能应用它们——这使得教育与技术同等重要。

为何众多试点项目停滞不前——以及如何突破

行业估计表明,高达95%的人工智能项目从未进入全面生产阶段。在联邦环境中,风险更高,障碍也更大。常见原因包括用例模糊、数据管理不善、缺乏评估机制来检测输出漂移,以及认为人工智能可以简单“插入”的假设。

物理隔离项目中的数据质量也是一个因素。如果你的查询是关于“导弹”,但你的系统索引的文档大多是关于“坦克”的,分析员预计会得到很差的结果,这也被称为“人工智能幻觉”。他们不会信任这个工具,项目也将悄然终止。在缺乏高质量任务数据的地方,人工智能无法凭空创造。

在机密任务中应用人工智能没有“速赢”,但有明智的起点:

  • 围绕一个聚焦的决策支持问题构建。
  • 清点并标记任务数据。
  • 尽早让安全和政策团队参与。
  • 建立评估循环以测试输出。
  • 从第一天起就为可追溯性和可解释性进行设计。

展望未来

在未来三到五年内,我们可以预期商业和政府的人工智能平台都将配备更强的内置安全性、更丰富的监控功能和更强大的审计功能。具备自主安全访问权限、能够预过滤查询和后处理答案(例如,强制执行情感策略或编辑个人身份信息)的基于智能体的AI流程将变得更加普遍。然而,即使这些安全要求和改进加速推进,国家安全环境仍面临独特的挑战:失败的后果过于严重,不能依赖盲目的自动化。

成为VIP会员查看完整内容
14

相关内容

人工智能在军事中可用于多项任务,例如目标识别、大数据处理、作战系统、网络安全、后勤运输、战争医疗、威胁和安全监测以及战斗模拟和训练。
《强大人工智能世界中维护安全:未来国防架构的考量》
专知会员服务
17+阅读 · 2025年11月28日
中文版 | 人工智能如何重塑欧洲防务格局
专知会员服务
13+阅读 · 2025年5月22日
人工智能如何增强军事监控与边境安全
专知会员服务
20+阅读 · 2025年3月20日
人工智能与国家安全:变革性影响和新出现的挑战
专知会员服务
22+阅读 · 2025年1月12日
美国防部政策的演变和人工智能在现代战争中的作用
专知会员服务
54+阅读 · 2024年7月1日
任务战备的未来:国防知识图谱和情境人工智能
专知会员服务
77+阅读 · 2024年5月28日
从规划到执行:人工智能在军事行动中的作用
专知会员服务
109+阅读 · 2023年9月22日
专知会员服务
63+阅读 · 2021年7月5日
人工智能和军备控制,80页pdf
专知
15+阅读 · 2022年11月2日
人工智能对网络空间安全的影响
走向智能论坛
21+阅读 · 2018年6月7日
国家自然科学基金
331+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
41+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
41+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2014年12月31日
国家自然科学基金
20+阅读 · 2013年12月31日
国家自然科学基金
17+阅读 · 2012年12月31日
国家自然科学基金
24+阅读 · 2011年12月31日
VIP会员
相关VIP内容
《强大人工智能世界中维护安全:未来国防架构的考量》
专知会员服务
17+阅读 · 2025年11月28日
中文版 | 人工智能如何重塑欧洲防务格局
专知会员服务
13+阅读 · 2025年5月22日
人工智能如何增强军事监控与边境安全
专知会员服务
20+阅读 · 2025年3月20日
人工智能与国家安全:变革性影响和新出现的挑战
专知会员服务
22+阅读 · 2025年1月12日
美国防部政策的演变和人工智能在现代战争中的作用
专知会员服务
54+阅读 · 2024年7月1日
任务战备的未来:国防知识图谱和情境人工智能
专知会员服务
77+阅读 · 2024年5月28日
从规划到执行:人工智能在军事行动中的作用
专知会员服务
109+阅读 · 2023年9月22日
专知会员服务
63+阅读 · 2021年7月5日
相关基金
国家自然科学基金
331+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
41+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
41+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2014年12月31日
国家自然科学基金
20+阅读 · 2013年12月31日
国家自然科学基金
17+阅读 · 2012年12月31日
国家自然科学基金
24+阅读 · 2011年12月31日
微信扫码咨询专知VIP会员