本《机器学习系统安全工程指南》充分吸纳了联合人工智能系统安全工作组（SSWG）的意见，并与美国海军军械安全与保障局（NOSSA）成员进行了协调。相关内容已在多场政府及商业人工智能研讨会与工作坊中展示，并据此持续完善。美国国防部正广泛采人工智能技术以增强决策能力、提升作战效能并巩固国家安全。然而，人工智能在国防部系统中的集成也引入了新型且额外的系统安全风险，可能对能力快速形成战斗力构成障碍。本指南旨在满足国防部的战略需求，通过在采办与保障阶段运用系统安全工程实践，在存在监督式机器学习的背景下，最大化理解作战价值与任务成功率。具体而言，本指南为项目系统安全工程师提供了建议性的系统安全分析流程、新的严酷等级目标及相关技术信息，以识别包含监督式机器学习功能的国防部系统所存在的危险并管控相关风险。同时，本指南通过提供相关信息，助力政府与工业界的项目经理、设计工程师、试验与评估工程师、专业工程领域人员及系统保障从业人员，缓解在含监督式机器学习的国防部系统研发、测试及使用过程中引入的系统安全风险。本指南可针对依据《自适应采办框架》软件路径执行的项目进行裁剪，使增量式机器学习系统安全与保障活动与敏捷节奏、DevSecOps流水线及持续交付保持同步。本指南的原则亦可通过与《2025年国防部人工智能网络安全风险管理裁剪指南》的整合，延伸至机器学习安全工程领域。此外，国防采办大学正创建人工智能子路径，以与软件采办路径对齐，应对人工智能特有的关切。各项目应在相关政策语言定稿后规划子路径对齐工作。本文所述方法符合截至本文件发布时现行有效的国防部相关政策、标准、条例及指南。本指南所有流程均基于《MIL-STD-882E 含变更 1》（2023年9月27日发布，“国防部标准实践：系统安全”）、《联合军种—软件安全当局（JS-SSA）支持 MIL-STD-882E 的软件系统安全实施流程与任务》（附《联合软件系统安全工程手册》参考文献，JS-SSA-IG Rev. B，2018年3月14日）及本指南参考文献所列其他出版物中的系统安全方法论。

经相应项目审批授权机构批准，国防部项目办公室可采用并裁剪本指南推荐的方法。本文件所载方法与任务目前仅供参考。本指南仅涵盖监督式机器学习这一种机器学习形式。基于本指南撰写时可用的相关技术，监督式机器学习功能通常比其他人工智能/机器学习方法具有更可预测的输出结果，从而实现更高的系统性能可靠性。另外两种机器学习形式——即无监督机器学习与强化学习——在数据管理与机器学习模型训练上采用截然不同的方法。从系统安全工程分析视角看，无监督机器学习与强化学习需采用不同的系统安全工程方法来识别与评估风险。除非获得特定豁免，否则本文件任何内容均不取代适用法律法规。本指南采用《MIL-STD-882E 含变更 1》版本。用户应参照合同要求使用最新版本。

本指南结构如下：

• 第1节阐述实施本指南第2节与第3节所述系统安全工程分析流程及严酷等级分析任务所需的人工智能与机器学习基本概念。

• 第2节描述将监督式机器学习功能纳入现有系统安全工程流程的建议方法。

• 第3节引入八项拟议的严酷等级目标及其具体任务，旨在评估与监督式机器学习相关的组件、功能及风险。 • 附录A提供一份严酷等级任务表示例，涵盖与八项严酷等级目标相关的任务。

• 术语表与缩略语表收录了本文件涉及的关键系统安全工程及人工智能/机器学习技术术语。

• 参考文献列表列明了本文件的信息来源。

目录

1 理解机器学习
1.1 机器学习方法与应用
1.2 监督式机器学习基础
1.3 模型测试
1.4 将机器学习集成到更广泛的系统中
1.5 机器学习团队

2 机器学习系统安全的过程任务
2.1 安全关键机器学习功能的生命周期管理与支持系统安全管理计划
2.2 系统安全计划
2.3 初步危险分析
2.4 功能危险分析
2.5 系统需求危险分析
2.6 基于机器学习功能的危险分析
2.7 系统与子系统危险分析
2.8 运行与支持危险分析
2.9 将安全与机器学习测试相结合
2.10 对机器学习给系统级风险带来的贡献进行分类
2.11 参与安全关键机器学习功能的生命周期管理与支持

3 等级任务
3.1 需求分析严酷等级任务
3.2 架构分析严酷等级任务
3.3 设计分析严酷等级任务
3.4 数据管理严酷等级任务
3.5 算法严酷等级任务
3.6 编码阶段严酷等级任务
3.7 测试与评估严酷等级任务
3.8 人机协同/人机系统集成严酷等级任务

附录 A：严酷等级矩阵
术语表
缩略语表
参考文献