《人工智能使能系统可靠性框架》

美国国防部（DOD）期望加速人工智能能力在各种国防应用中的开发与部署，以维持战略优势。然而，人工智能算法许多使其强大的共同特性——例如学习能力、大规模数据摄取和问题解决——引发了新的技术、安全和伦理挑战。这些挑战可能因开发、测试、保证、流程和要求方面的不确定性而阻碍其采用。通过保证实现可信性，对于从人工智能获得预期价值至关重要。本文提出了一种基于声明的风险管理与人工智能系统保证框架，旨在应对快速部署、成功采用和严格评估之间的竞争性需求。该框架支持所有采办途径的项目，为人工智能使能系统（AIES）能在其整个生命周期内实现预期任务目标而不引入不可接受的风险提供充分信心依据。本文的贡献包括：一个人工智能保证框架流程、一组有助于就人工智能保证主题进行建设性讨论的相关定义，以及对人工智能保证中重要考量因素的探讨。该框架旨在为美国国防部提供一个稳健而高效的机制，以便在不忽视关键风险或损害利益相关方信任的前提下，快速部署有效的人工智能能力。

关键词：人工智能（AI），人工智能保证，基于声明的保证，风险管理，机器学习（ML），自主系统，测试与评估（T&E），安全与安保，DODD 3000.09指令，系统之系统，持续监督，生成式人工智能，对抗性机器学习，法律合规，开发安全运维/机器学习运维集成

美国国防部认识到人工智能在增强任务关键系统方面的变革潜力，可用于改进决策支持、增强态势感知和实现自主作战。从用于情报或后勤的数据分析，到陆、空、海环境中的复杂自主平台，人工智能使能系统（AIES）能够以更高的速度和精度应对快速演变的威胁。

人工智能的潜力遍及广泛的国防应用领域。一些人AIES侧重于分析和决策支持，综合来自不同数据流的信息并生成洞察以指导人类决策者。其他则涉及更高级的自主性，人类参与方式包括人在环、人在回路上或人在回路外。人工智能功能可以驱动空中、陆地或海上领域的无人平台，使其能够在无需人类在每一步都干预的情况下适应不断变化的任务参数。在许多情况下，人工智能组件可能在条件快速变化、输入可能偏离训练数据以及可能出现意外场景的情况下运行。尽管客机降落在高速公路上的情况不太可能发生，但自动驾驶汽车即使在此类罕见事件中也应能避免碰撞。

然而，正是赋予人工智能强大能力的许多特质——其学习能力、大规模数据摄取和问题解决能力——带来了新的技术、安全和伦理挑战。AIES可能会发生漂移，例如由于输入数据漂移、传感器性能下降、执行器故障或材料疲劳所致。一些人工智能算法被设计为随时间学习（在线或增量式学习），这在功能上就是AIES的内部漂移。鉴于这些复杂性，许多最初围绕确定性软件或硬件系统开发的传统测试与评估、安全和网络安全流程可能被证明是不够的。习惯于验证确定性的传统软件系统的防务组织可能会发现，他们尚未准备好应对许多AIES的复杂性、可变性、脆弱性、不确定性、脆弱性和不透明性。尽管存在这些挑战，为了保持竞争力，美国国防部必须比历史上可能的速度更快地部署基于人工智能的解决方案。许多潜在的基于人工智能的解决方案由于开发、测试、保证、采办、流程和要求方面的不确定性，其采用速度一直缓慢。

本文介绍了一个人工智能系统风险管理和保证框架，旨在应对系统整个生命周期中速度与严谨性这两大要务。为便于理解的一致性，我们在第2节中提供了术语定义。该框架以明确的“保证声明”为核心，提供了一种系统化的方法来收集给定AIES的所有相关证据，从训练数据来源到网络安全测试报告和伦理合规制品。通过这样做，它整合了多个通常孤立考虑的视角：安全性、安保性、合法性和性能。

该框架流程要求创建有证据支持的明确论证，以确保风险被理解并按需管理。该框架要求创建特定的制品，包括一份定义如何在系统生命周期内维护保证的保证计划。这些制品也向利益相关方提供信息，为那些必须使用、与系统交互或受系统影响的人员提供对人工智能系统的信心。凭借清晰的步骤、模块化和迭代的方法、有形的完成标准以及明确的批准节点，该框架为开发人员更快地将新产品交到用户手中提供了一条途径。实现保证所需要求的清晰性和一致性，是该框架提供的加速主要手段。未来将提供符合该框架的模板、指南和示例，这将进一步推动开发和采用工作的加速。例如，一个包含AIES常见危害的数据库，可以提高危害识别和风险评估活动的一致性、质量和速度。

人工智能保证流程贯穿于人工智能系统的整个生命周期，从系统开发到系统部署，再到系统运行的整个过程。图1展示了人工智能保证流程的三个阶段：准备保证、建立保证和维护保证。本文的主要贡献如下：