为了部署能够投入生产并在密级、合规性与政策约束下运行的人工智能,机构领导者必须以分层视角看待人工智能安全。
随着联邦政府依据国家人工智能行动计划加速采用人工智能,各机构正竞相将人工智能引入任务系统。特别是国防部,看到了人工智能帮助分析员管理海量数据并保持对对手优势的潜力。
然而,大多数人工智能项目从未走出实验室——并非因为模型不完善,而是因为其数据基础、可追溯性和治理过于薄弱。在任务环境中,尤其是在本地部署和物理隔离的云区域,没有安全、透明且治理良好的数据,就不可能实现可信赖的人工智能。
为了部署能够投入生产并在密级、合规性与政策约束下运行的人工智能,联邦机构领导者必须以分层视角看待人工智能安全。
安全与治理层级
人工智能涵盖机器学习、机器人技术和计算机视觉等多个领域。本次讨论,我们聚焦于人工智能增长最快的领域之一:作为决策支持工具的自然语言处理和生成式人工智能。
本质上,这些基于大语言模型的系统是在海量公共数据上训练出来的复杂“黑箱”。它们自身并不理解特定的任务、机构或作战区域。为了使它们在政府中有用,团队通常将基础模型与专有任务数据结合,通常使用检索增强生成技术,即检索相关文档并将其作为每次回答的上下文。
安全和治理挑战正由此开始。
层级1:基础设施——熟悉的基础
好消息是,人工智能的基础设施层看起来与其他任何高价值系统非常相似。无论机构是部署数据库、Web应用程序还是人工智能服务,其“运行授权”流程、网络隔离、安全控制和持续监控都适用。
层级2:保护人工智能增强数据带来的挑战
数据层是人工智能安全与商业应用差异最为显著的地方。在RAG系统中,任务文档被检索出来作为模型查询的上下文。如果检索过程不强制实施密级和访问控制,系统可能产生导致安全事件的结果。
试想一个单一的人工智能系统为多个密级的机密文档建立索引。在检索层深处,系统提取了一份高度相关的文档来增强查询,但其密级超出了分析员的访问权限。分析员从未看到原始文档;看到的只是一个简洁、概括性的答案,而这同时也是一次数据泄露。
联邦机构人工智能的下一个前沿取决于精细的、基于属性的访问控制。
每个文档——以及每个向量化的数据块——都必须用密级、注意事项、源系统、隔离区段和现有访问控制列表进行标记。这通常通过为不同密级数据构建独立的“存储仓”来解决,但这种方法会导致数据重复、上下文丢失和操作复杂性。更安全、更具扩展性的解决方案在于建立一个具有强大、基于属性过滤功能的单一语义索引。
层级3:模型与人工智能供应链
机构可能使用托管模型、微调自己的模型,或将第三方或开源模型导入物理隔离环境。在所有情况下,模型都应被视为软件供应链的一部分:
如果没有关于模型如何获取、托管、更新和退役的明确政策,“一次性实验”很容易演变成长期风险。
此层级的挑战在于商业云区域与政府云区域之间的“功能代差”。商业环境能更早获得最新的人工智能服务及其安全增强功能。在这些能力获得授权并在物理隔离区域可用之前,机构可能被迫依赖旧工具或构建临时解决方案。
治理、日志记录与负责任的人工智能
人工智能治理必须扩展到技术团队之外。政策、法律、合规和任务领导层都对人工智能的部署方式拥有利害关系。
最重要的三个主题是:
为何众多试点项目停滞不前——以及如何突破
行业估计表明,高达95%的人工智能项目从未进入全面生产阶段。在联邦环境中,风险更高,障碍也更大。常见原因包括用例模糊、数据管理不善、缺乏评估机制来检测输出漂移,以及认为人工智能可以简单“插入”的假设。
物理隔离项目中的数据质量也是一个因素。如果你的查询是关于“导弹”,但你的系统索引的文档大多是关于“坦克”的,分析员预计会得到很差的结果,这也被称为“人工智能幻觉”。他们不会信任这个工具,项目也将悄然终止。在缺乏高质量任务数据的地方,人工智能无法凭空创造。
在机密任务中应用人工智能没有“速赢”,但有明智的起点:
展望未来
在未来三到五年内,我们可以预期商业和政府的人工智能平台都将配备更强的内置安全性、更丰富的监控功能和更强大的审计功能。具备自主安全访问权限、能够预过滤查询和后处理答案(例如,强制执行情感策略或编辑个人身份信息)的基于智能体的AI流程将变得更加普遍。然而,即使这些安全要求和改进加速推进,国家安全环境仍面临独特的挑战:失败的后果过于严重,不能依赖盲目的自动化。