人工智能在军事领域的使用有望带来战争形态的重大进步:通过快速分析海量数据集实现超快速决策、作为力量倍增器以及提高准确性和覆盖范围。随着这些“智能”人工智能赋能系统自主性日益增强,对其可控性的担忧也在增长。问题随之产生:如何确保维持适当、有效且“有意义”的人类控制与监督?有意义人类控制的概念明确强调了人类控制的伦理和法律层面(“有意义”),并隐含地分配了责任和问责。尽管北约内部一致认为未来战场将继续需要人类判断来确保有意义的人类控制,但对于其具体内涵的观点则有所不同。相应地,目前仍不清楚应从有意义人类控制中推导出哪些具体的设计指南。北约研究任务组探索对未来基于人工智能的系统实施有意义人类控制所涉及的含义、特征及潜在解决方案。
一个重要方面是,有意义人类控制不应被视为一个简单的属性,而应被视为复杂社会技术体系的一部分:一个在更广泛的政治、法律、监管、伦理、组织、文化、技术及体系之体系背景下进行的、持续的、迭代的循环。因此,需要结合在系统全生命周期不同阶段应用的方法,以确保实现有意义的人类控制。安全研究具有类似的更广泛系统视角,其为设计、评估和测试建立了标准化的实践,这些实践可能同样具有参考价值。因此,需要更仔细地审视控制的各个层面,包括例如部署、设计/开发和测试,以及对军事人工智能系统的治理。
在更广泛的社会技术体系内,跨不同控制层面存在一系列潜在的实用解决方案,以帮助确保在北约未来的作战环境中存在有意义人类控制所需的适当基础条件。在本报告中,共确定了17种候选方法,这些方法反映了研究任务组三年期间所讨论的概念。这些潜在的解决方案多种多样,从设计指南到态势感知度量指标,再到组织培训。尽管不存在放之四海而皆准的解决方案,但一个总体结论是,实施得当的、以人为中心的设计流程至关重要,该流程要求不同利益相关方协作,即使在人工智能生命周期的最早阶段,也要识别并缓解许多与有意义人类控制相关的潜在问题。报告希望其中确定的方法能激发进一步研究的思路,以探索在整个系统和任务生命周期内有前景且实用的有意义人类控制解决方案,因为并非所有候选解决方案都已在真实军事行动中得到检验。
作为理解复杂社会技术体系中有意义人类控制的另一种手段,我们引入了有意义人类控制的“整体蝴蝶结模型”。该模型结合了从单个人机系统层面、系统之体系层面、组织层面、社会层面直至诸如地球及其周边空间等大型系统层面的各个方面。整体蝴蝶结模型有助于理解促进有意义人类控制的不同方法之间的相互关系。
在报告结尾提出了进一步研究的建议,并提议重点关注信息域(例如,认知战)和设想的多域作战中的有意义人类控制、参与式设计的作用,以及大规模系统之体系可能如何影响有意义人类控制。