摘要:本篇特别评论认为,军事人工智能集成必须从模型可靠性转向人机团队内的“认知适配”,以确保在不确定性下的决策优势。它通过关注动态作战适应与系统韧性,超越了传统的人工智能指标。本研究采用生态认知框架,将约翰·博伊德的进化理论与现代认知科学及风险管理原则相融合。本分析为政策制定者与军事从业者设计保留人类判断并降低风险的指挥结构提供了关键蓝图。
关键词:人工智能(AI),认知适配,决策优势,分布式认知,人机集成,任务式指挥
军队将人工智能(AI)集成到其规划过程中的工作,例如美军下一代指挥与控制(NGC2),通常——且合理地——旨在获得相对于敌人的决策优势。此类系统通过创建先前各自孤立的系统的生态系统,并利用人工智能快速分析数据,从而提供持续、集成的作战图景,原则上,这应能使参谋流程更高效,进而实现更好的决策制定[1]。随着此类系统的演进,它们可能越来越有能力支持决策制定,通过更好的态势感知并利用该态势感知来制定——或至少提出——决策本身[2]。
当前许多军事人工智能方法都聚焦于人工智能系统是否足够可靠以值得信任。当人工智能对物体进行分类、描述当前状况或总结信息时,这种关注相当有效。当人工智能生成计划、预测敌人行为或在不确定性下推荐行动时,其效果则较差。在这些情况下,关键问题不在于人工智能模型本身是否可靠,而在于更大的人机系统能否有效理解并适应不断变化的环境[3]。这种适应是人际系统如何分配认知以及该分配如何与作战环境相适配以实现通过反馈进行表征、推理和适应的函数。因此,理解和管理认知适配对于实现决策优势至关重要。
在此背景下,决策优势不仅仅是比敌人决策更快的函数,也是决策更优的函数。然而,更快与更优通常是相互竞争的因素,需要平衡机器速度与人类控制[4]。更快易于衡量;然而,更优则不然。目前,信任(此过程中至关重要的因素)在很大程度上是根据计算可靠性来理解的——即系统是否经过验证,并证明能在预期使用条件下产生准确、稳健且可重复的结果[5]。这一信任标准对于设计用于识别敌方车辆等用途的分类器模型而言是可行的。虽然操作员在当下可能无法确定机器的识别是否准确,但他们原则上至少可以验证它,如果发现错误,可以重新训练模型以使其更可靠。
对于从事情报分析和军事行动规划的生成式人工智能和大型语言模型系统,挑战则有所不同。例如,在描述诸如瞄准、维护或后勤等领域当前状况的决策支持系统中,信任可以基于数据来源、质量、整理、模型验证、确认、稳健性、校准、跨情境表现以及专家监督等因素[6]。然而,当人工智能输出面向未来时——当系统生成计划、预测或关于敌人意图的评估,其真实性无法预先知晓,甚至事后仍可能存在争议时——这些指标最无帮助。例如,一个失败的计划在特定情况下仍可能是最佳可用方案,而一个成功的计划可能基于虚假关联或不透明的推理。在此,挑战是认知层面的:指挥官如何知道按照面向未来的人工智能模型输出行动是否审慎?
采用这种可靠主义方法的问题有二。首先,正如约翰·泽里利(John Zerilli)等人所指出的,随着人工智能的改进,控制问题可能会恶化。当人类使用人工智能工具时,人类在能力、注意力、时效性和态度方面的局限性会带来风险。因为人工智能系统过快且过于复杂,人类操作员可能无法有效控制它们[7]。此外,如果人工智能赋能的行动将人类互动简化为监控显示器,注意力可能会减弱,增加错误风险。对人工智能的依赖还可能侵蚀人类技能,尤其是认知技能,这些技能可能随时间衰退,并在需要时难以恢复。最后,大量自动化偏差的例子表明,人类经常信任来自通常可靠模型的人工智能输出,即使已知这些模型偶尔会失败[9]。因此,泽里利等人认为,人工智能在最可靠时往往最危险。反直觉的是,更容易发生故障的系统通常更安全,因为它们能促使人类投入更多注意力和监督[10]。这一点暗示了一个悖论:人工智能(AI)集成通过卸载人类认知负担来创造价值,但在此过程中,它也使人类认知能力下降,可能降低系统的整体效能。
最后一点表明,有效的人工智能集成需要从系统视角理解认知,该系统包括人类、人工智能模型以及其他提供“认知脚手架”的工具,即实现认知卸载和负担共享的外部结构。第二个担忧是,可靠主义方法忽视了更大的分布式认知系统,原始数据通过该系
统转化为信息,信息转化为知识,知识转化为理解。在分布式系统(如作战单位)中,认知并非位于个体头脑中,而是分布在人员、工具以及系统运行的环境中[12]。
认知是系统属性而不仅是个体知识之和,这一事实至关重要。人工智能赋能的任务式指挥系统(如NGC2)不仅加速现有的军事决策过程;它们从根本上重新分配了人机网络中的认知。在人工智能赋能的系统中,机器承担了与排序数据、检测异常、关联信号和生成候选解释相关的更大份额的认知劳动。结果,人类在构建环境图景中的作用减弱,转而专注于解释其意义、评估风险和决定如何行动。这种跨越人员、工具、数据和过程的认知负荷转移意味着,设计挑战不仅在于优化模型性能,更在于优化整个人机系统对作战环境的适配。
从适配的角度思考将迫使士兵重新思考如何作战。传统的军事决策方法强调行动而非适应,因为它们旨在将信息导向决策并协调其执行。在此背景下,理解主要作为行动的前提条件发挥作用,参谋寻求建立稳定的图景,将其转化为计划或命令,同步资源并执行决策[13]。层级角色、顺序参谋流程和规范性规则使系统在产生行动方面高效,但在持续修正其感知和构建变化环境的方式上效率较低。这一点并不意味着当前系统无法适应,而是适应以行动为中心,并可能根据先前尝试的成功或失败改变实现目标的方式。相比之下,以适应为中心的系统将着眼于改变其理解环境的心理模型,并可能质疑其最初是否拥有正确的目标。
这种传统的适应模式适用于存在正确答案的情况。正如约翰·凯(John Kay)和默文·金(Mervyn King)所观察到的,此类“谜题”有正确答案,通常可以通过更多数据和更强的处理能力来改进。他们将谜题与“谜团”进行对比,后者没有客观正确的解决方案。在这些情况下,不确定性永远无法消除,因此需要其他指标来评估任何拟议响应的质量[14]。因此,在机器输出即使原则上也无法针对特定目标进行验证的情况下,核心设计问题从人工智能能否快速产生准确输出,转向整个人机分布式系统(包括人员、工具、数据和流程)能否产生足够可信的知识和理解,以支持特定作战环境中的决策优势。
约翰·博伊德(John Boyd)在其文章《毁灭与创造》中,将军事系统的设计问题视为固有的认知问题,尽管他并未使用该词。相反,他类比认为,军队非常类似于生物体,即渴望在资源稀缺的环境中生存和发展的目标导向有机体。在此类环境中,生存与发展取决于通过不断拆除旧心理模型并创建新模型来适应的能力,心理模型是个体理解环境的方式。成功的适应取决于新心理模型是否比旧模型更契合环境。评估这种适配要求有机体具备足够的认知能力,以产生和掌握关于环境的知识。至少对人类而言,这种能力源于一种进化过程,其中心智通过将其内部框架与外部经验反复匹配来适应现实[15]。诸如提出该概念的洛伦佐·马尼亚尼(Lorenzo Magnani)等学者,可能将博伊德的认知论描述为“生态认知”,即知识源于内部认知过程与外部环境因素,并受到人类用于与世界互动的工具或技术的影响[16]。
有趣的是,博伊德以破坏性和创造性的术语描述建立新心理模型的过程,其中演绎逻辑分解旧系统,而归纳综合先前的概念与关于世界的新信息则产生新模型[17]。然而,演绎和归纳逻辑往往是保真且规范性的。它们是保真的,因为它们确立事项的真实性;是规范性的,因为它们规定保证真理的推理过程[18]。在可能无真理可保、因而无描述对象的情况下,人们需要找到另一条通往知识与理解的路径。
这一关切与人工智能赋能系统尤为相关。人工智能生成的世界表征是统计估计或推断,取决于用于训练人工智能模型的数据的质量、覆盖范围、多样性和代表性[19]。博伊德关于组织适应的生态解释表明,焦点应从可靠性转向适配。该框架不问系统是否可靠准确,而是问系统是否足够契合作战环境,以帮助指挥官生成有用的理解并有效适应。在此观点下,决策优势源于整个系统比敌人更快适应的能力,而不仅仅是更快决策。因为成功依赖于迭代假设,一个系统是否契合作战环境取决于三大广泛功能——表征、推理与适应。
表征适配评估系统是否能以准确、可理解的方式检测、组织和呈现相关信息,且不施加过度的认知或作战成本。推理适配评估人机系统是否能生成合理、连贯、情境敏感且能指导行动的解释,而非依赖静态或虚假的关联。输出与适应适配评估这些解释是否支持适当、及时的决策,以及反馈是否能使系统修正其表征、重新考虑备选方案,并在重复的决策周期中改进。因此,适配是迭代评估的:指挥官和参谋在每次周期中评估这些维度,检查它们如何随时间变化,并利用结果识别分布式认知系统的理解、推理或行为何时开始偏离作战环境。在此过程中,他们经常必须进行溯因推理——即推理至最佳解释——其中成功的假设是最合理的假设。与演绎和归纳逻辑不同,溯因推理不保真,因此适用于如上所述的、无真理可保的问题。在此背景下,不确定性并非系统故障,而是对适应的需求信号。
现在应该清楚,“利用数据作战”与更传统的战争方式有多么不同。士兵将不再“发现、锁定和终结”,而是将更多时间用于解释、质疑和适应机器生成的输出。机器最终将处理大部分(如果不是全部)关于敌人位置和相对作战能力的谜题,士兵则不再解决这些谜题,而是专注于对敌人意图和己方行动方案生成假设,同时进一步评估不断变化的作战环境如何影响这些假设的质量。为优化该过程,指挥官和参谋必须管理人机网络中认知的分布方式,决定委派哪些功能、保留哪些判断,以及如何维持反馈循环,使机器输出与任务意图和多变的战场条件保持一致。在此背景下,信任表现为对感官的信任的涌现——通过与环境的持续互动实现足够成功的、目标导向的行为——而非对模型可靠性的被动信心。捕食者不必抓住所有追逐的猎物,只需抓住足够生存的数量。
尽管存在这一变化,生态认知方法在许多方面更为直观,因为它评估人工智能赋能系统的方式与士兵评估作战组织的方式非常相似——不仅通过评估特定组件的功能,还通过评估作战、作战支援和作战勤务支援系统的整体安排是否在其设计环境中发挥作用。指挥官已经知道,有效表现取决于人员、条令和作战职能的互动。此方法将这种理解扩展到人工智能赋能系统。它不将人工智能模型视为参谋军官(关注其判断是否准确),而是问更大的人机系统是否能感知相关条件、使环境可理解,并生成关于环境的假设,以支持与任务意图一致的及时行动。
此方法也更直观,因为它符合士兵在战场不确定性下的推理方式。当前的人工智能方法暗示,信任应取决于数据卫生、验证分数、过往可靠性或与人类经验的一致性等因素。这些标准对于分类敌方车辆等谜题相当有效,但对于预测敌人意图或未来行动方案等谜团则无效。适配的度量并不消除不确定性,而是通过让指挥官知道特定系统对于特定任务、在特定环境、特定时间是否足够好来管理不确定性。在某种程度上,此模型将不确定性视为资产——当被正确感知时,它激发更有效的适应。
最后,此方法将适应视为常态,而非失败的证据。“计划经不起与敌人接触”这一常用来解释缺陷的表述,反映了士兵已知的事实。即使计划基于完美信息和原则的无瑕应用,与敌人的首次接触也会改变环境,从而改变计划所基于的信息。此方法更好地解释了系统中人类一侧已经在发生的事情——持续的感知、判断、行动、评估和重构——而不是将使用人工智能赋能系统所需的技术知识构建为替代人类参谋的技术复杂方案。
人工智能赋能任务式指挥的成功,与其说取决于计算速度,不如说取决于系统设计能否保留人类判断、使不确定性可见、维持反馈循环,并保持人类用户与机器输出之间的认知共鸣。简而言之,战争的未来在于构建能够利用数据进行学习、适应和有效作战的人机认知生态,而非用机器取代指挥官。