从人工智能到人机智能

作为战略前沿的人工智能，其讨论常囿于技术术语，以算法能力、规模和速度为界定。然而，人工智能的战略影响主要不在于其"人工性"，而在于它如何改变我们对个体与组织层面"智能"的理解。

人工智能在当今智力认知中的突出地位，可追溯至两次世界大战时期关于自主（或"无人"）系统的概念，其旨在使人类工作更快、更精确。诺伯特·维纳在20世纪40年代创造了"控制论"一词，指代使这种联合能力成为可能的生物与人工系统之间的互动循环。20世纪50年代，保罗·菲茨列举了哪些物理和认知任务"人更擅长，[以及]机器更擅长"——这份清单至今仍常被引用，在自动化系统设计中简称为"MABA-MABA"。然而，早在1960年，J·C·R·利克莱德就推测，人工智能的进步将导致"人机共生"，由此"人与计算机在紧密协作中共同工作……应成为人类历史上最具智慧和最激动人心的阶段"。

换言之，人机协作能够实现超越各自潜能的智力水平，这一观点并非新见。变化的是所涉系统的本质。"人工智能"日益与算法模型相关联，而这些模型的内在运作机制，对于预期使用它们的人员而言并不易于理解。随着人工智能系统更深地嵌入决策流程，最终用户——如无人机操作员或执法人员——对决策生成方式的直接控制力减弱，却仍需对决策结果负责。这造成了一种可称为"责任缺口"的状况，尽管这种表述方式有掩盖根本问题的风险。问题不仅在于人工智能系统不透明，更在于人们将其视为外在于人类决策的存在，而事实上它们与人类决策密不可分。

随之而来的是日益增长的担忧，即这些局限性将导致系统将人类完全排除在决策循环之外，转而依赖完全自主的系统。然而，法律和伦理约束——特别是在国家安全与战争等安全关键领域——排除了对重大决策的完全自动化。因此，挑战并非在于防止人类参与的消除。问题在于，人与人工智能共同决策意味着什么？我们又如何确保这种共同决策以一种可信赖的方式进行？

人工智能赋能系统中的从"信任"到"可信赖性"

在人因工程与人机交互学领域，为可信赖性而设计传统上意味着双重关注。首先是创建在特定任务集上高度可靠的自动化系统。其次是培训人类用户，使其通过理解自动化系统如何运作、何时或如何可能失效，从而恰当地依赖自动化。因此，长期以来，回答"用户对自动化的信任是否恰当"这一问题，曾是评估人机协同单元决策可信赖程度的充分替代指标。

如今，促使用户恰当信任人工智能，仍然是跨学科领域中一个重要且快速发展的关注点。例如，诸如DARPA"可解释人工智能"计划等大规模研究工作，旨在开发算法干预措施，为用户提供关于人工智能决策逻辑的启发式信息。另一方面，人因工程学与心理学研究者则持续产出大量度量与方法，用以理解人们对人工智能的信任。因此，主流人工智能设计指南强调通过透明度（例如谷歌的"人+AI"设计指南）来增强用户信任的重要性。然而，与此同时，有充分证据表明，透明的人工智能设计可以增加用户信任，却未必实际提升决策质量。在国家安全与防务应用中，漏洞常通过高度精准的攻击被利用，不当的信任可能与不信任同样危险。过于轻易被信任的系统可能受到更少的审查，使得错误更有可能在发现时为时已晚。历史事件，如1984年美国"文森斯"号巡洋舰误击伊朗航空655号航班，以及2006年"爱国者"导弹误击友军事件，都凸显了因系统设计方式而过度信任系统所带来的灾难性风险。

至关重要的是，要弥合人工智能系统设计者可用的工具和度量指标，与国家安全背景下的特定可信赖性要求之间的差距。在快速、数据密集型决策成为常态的时代，为恰当依赖而设计的双重焦点已显不足。人工智能在这一新常态中如此核心，以至于"可信赖性"现在需要通过决策前紧密交织的人类与人工智能输入序列来更好理解。换言之，可信赖性不再是单个用户对机器可靠性态度的副产品。相反，它是整个集体的一种属性——这也是"人机协同团队"一词已成为国家安全研究核心组成部分的原因。因此，如果我们想要可信赖的人工智能赋能系统，我们必须以其结果的基本构建单元——交互——来设计和评估它们。

从以人和AI为中心到以交互为中心

将交互作为设计和评估的基本单元，需要我们改变开发与评估人工智能赋能系统的方法。以交互为中心的方法并非将"以人为中心"和"以人工智能为中心"的设计视为各自独立的范式，而是明确将两者联系起来，并理解设计决策在实践中的形成方式。这可以通过将交互中心设计与评估理解为一个持续的研发循环来把握。

交互中心设计

交互中心设计意味着超越"人工智能系统应向用户提供什么信息"或"何种底层人工智能架构将构成系统"这类问题。当前许多可信人工智能方法，如可解释人工智能，其运作基于一个假设：向用户提供对人工智能推理的洞察，将带来更好的后续决策。然而，设计决策必须考虑人机交互式决策在操作情境中如何实际发生。这要求在如何开展设计方面进行两个以交互为中心的转变。首先，必须将人机交互本身视为一个主要的设计成果，而不仅仅是决策发生的机制。其次，设计过程本身也必须是交互式的，以便设计理念牢固建立在实践中决策如何展开的基础上，而非假设设计意图能完美转化为使用行为。

举例来说，人工智能透明度通常通过可视化、数值置信度得分或自然语言解释等特性来实现。数十年的研究表明，人们对自动化逻辑的概率估计和解释，不仅基于不确定性信息本身，也结合了其自身的任务专长。然而，这些设计选择通常由开发人员做出，他们对人工智能流程的心智模型与最终用户的心智模型存在显著差异。

举个例子。告诉一个经过训练的人，人工智能对其输出"有90%的置信度"，这意味着什么？对于评估一个包裹是否确实无威胁的机场安检官员而言，这个数值可能太低；漏检的代价是灾难性的。因此，尽管数值很高，他们仍可能标记该物品进行人工检查。相反，对于分诊临床医生而言，同样的估计值对于诊断建议来说可能高得令人难以置信，因为在诊断中存在不确定性是预期的，而过度自信可能是危险的。在这两种用例中，这些解释也可能根据用户还需做出多少决策而改变。问题不仅在于用户可能误解数值输出，更在于其含义与其出现的语境密不可分。一个人工智能设计特性可能在一种情境中改善决策，却在另一种情境中损害决策。目前，很少有已部署的系统公开基于现有的设计指南，能够根据人机交互历史来调整呈现给用户的信息。尽管如此，现在已有政策框架用于缓解自适应人工智能设计的风险。

国家安全与防务研究可以借鉴其他安全关键领域（如医疗、航空）的参与式设计传统，在这些领域，可信赖性的评估不仅基于技术性能，还基于人与技术如何在现实世界约束下协同运作。例如，对"智能"医院输液泵的研究表明，安全特性最好与最终用户共同设计，以防止设备设计与现有临床工作流程不匹配。医疗保健环境中成功的参与式设计工作，较少关注提高设备精度，而更多关注临床医生与这些系统的交互如何无缝融入其现有工作流程。这突显了一个关键原则：如果目标是实现基于人工智能的可信赖决策，系统设计者与利益相关方必须积极协作，以确保最终设计不会损害一线工作人员，或从长远来看阻碍他们使用人工智能系统。将参与式设计方法成功转化应用于人工智能赋能的防务系统，是国家安全决策人工智能应用战略设计的关键。

交互中心评估

如果交互是设计的基本单元，那么它也必须成为评估的基本单元。然而，目前，人工智能系统主要在模型层面进行评估，使用在标准化任务中比较性能的基准指标。这些基准——尽管对于追踪算法进展至关重要——对于基础模型的进步将如何导致人机单元在现实世界决策环境中的行为，提供的洞察力有限。特别是，它们很少能捕捉模型错误如何与人类认知偏见叠加，以及这些复合效应如何随时间影响决策。

基础模型的许多进步是由技术目标驱动的，例如提高准确性或计算效率。虽然这些改进可能在传统人机交互度量上带来增量收益——例如提高人工智能建议的可靠性——但它们对实际应用环境中决策质量的影响通常是间接的，且理解不足。这种差距在高风险领域尤其具有重大影响：在基准测试中表现良好的系统，在不确定性、时间压力和信息不完整的条件下部署时，仍可能导致糟糕的决策。

例如，2021年8月，美国在喀布尔发动的一次无人机袭击——旨在消除迫在眉睫的ISIS威胁——在快速移动的情报监视流程中误认一辆车辆，导致十名平民丧生，包括七名儿童。这场悲剧凸显了失败不仅源于错误数据，也源于在时间压力下如何解释信息并采取行动。随着人工智能辅助目标锁定日益普遍，越来越需要能够捕捉此类系统如何影响操作员所见、所优先处理及所采取行动的评估指标。

与此同时，在现实的"人在回路"环境中评估人工智能系统所需的基础设施成本高昂且难以扩展。受控的人体被试实验为了解人与人工智能的互动提供了宝贵见解，但它们资源密集，且往往远落后于算法创新的步伐。提高这些评估的逼真度——例如通过更真实的模拟、更大的参与者群体或纵向研究——会进一步增加这些成本。因此，评估工作经常与基础模型的开发脱节，限制了其及时为设计决策提供信息的能力。

推进交互中心评估方法将通过明确聚焦于人机协同认知过程来应对这些挑战。首先，它将推动开发评估方法，以基于观察到的交互数据的度量，来补充纯算法的基准测试。这包括能够捕捉用户与人工智能对应方如何沟通和解读彼此见解、他们多快多有效地发现并干预潜在的推理错误，以及决策质量在连续的人机交互中如何演变的度量指标。近期国家安全研究的努力指向了这个方向的可扩展方法。例如，DARPA的"成功团队的人工社会智能"和"探索性人机团队模型"计划，探索了在各种人机协同场景下，基于模拟环境的协调与社会推理。这些计划为利用人工智能技术（如大型语言模型）的进步来测试其对实际人机协同工作的下游影响提供了一个范例。

推进交互中心评估还将在人工智能研究人员与系统评估人员之间提供一定程度的协调。鉴于高保真"人在回路"评估的成本和复杂性，对模型性能的每一次增量改进都进行评估既不可行也无必要。然而，有必要确定基础模型进展可能在何时、以何种方式对实际人机交互决策产生实质性影响的阈值——无论是在受控的实验室研究中，还是在更自然的应用环境中。美国空军的"人机协同决策优势冲刺"活动提供了一个范例，展示了如何构建交互中心评估，以将商业人工智能开发者与应用研究者聚集在一起，并指导未来作战技术的开发。建立这些评估阈值将实现更战略性的资源分配，确保经验性研究在最有可能产生作战相关进展的领域展开——无论是在基础人工智能研究中，还是在现有应用的部署上。

结论

作为国家安全与防务的战略前沿，人工智能从根本上关乎在当今的风险与冲突视域中，增强"智能"的内涵。这归根结底是人工智能最终必须贡献什么：不仅是更有效、更高效的决策，更是因其能以合乎伦理的方式同时支持国家安全人员及其所服务的民众，从而更加可信赖的决策。今日的人工智能系统已将我们带到利克莱德预言的"人机共生"时代的边缘。使这种共生关系成为可能的交互，因此必须成为创新的焦点，而非继续作为其隐含的副产品。值得庆幸的是，数十年的研发已为促成这一变革奠定了坚实的基础。我们必须继续在算法创新与现实世界影响之间架起桥梁，迈向一个由人机决策构建——而非危及——全球安全的未来。