摘要：将人工智能（AI）集成到军事领域，特别是致命性自主武器（LAWS）中，在充满争议且不完善的规范性框架内引发了重大的伦理和法律关切。本文批判性地审视这些挑战，以评估管辖自主和半自主系统部署的现有法律规范和伦理框架的充分性。本文审视了自主、问责和人类控制在致命决策中的影响。在此基础上，本文探讨了缓解策略，包括有意义的人类控制、系统设计和生命周期监督。

问题陈述：武装部队如何能够以保留伦理判断和法律问责的方式将人工智能集成到军事行动中？

各国和军事机构必须促进持续对话，就出于安全目的使用人工智能的定义、应用和风险建立共识，并创建一个随着人工智能技术发展的、共同的、适应性的法律、治理和伦理框架。

战争的执行与认知

军事技术的最新进展，特别是人工智能（AI）和无人系统，深刻改变了战争的执行与认知。这些技术设计有简化、直观的界面，并日益基于平民用户已经熟悉的双重用途平台，为武装部队提供了不可否认的战略优势。它们减少了研究、开发、训练的时间和成本（以及人力成本），因为军事机构可以依赖现有的民用技术生态系统、基础设施和经验来获取、维护和操作此类系统。然而，使这些技术高效的特性也带来了军事领导者和决策者必须批判性评估的重大伦理和法律挑战。^[1]

一个例子是人工智能克服人类无人机飞行员身心限制的能力。当代无人机战争通常被描绘成一种通过类似视频游戏环境的数字界面进行的中介远程战斗，导致飞行员与其目标脱钩、脱离和情感疏离。^[2] 然而，尽管比实体战场上的风险低，他们并非不受身体劳损和疲劳、情绪困扰和认知超负荷的影响，这会导致作战性能下降、反应时间变慢和决策错误。^[3] 除了在高清画质下造成和目睹生命损失带来的创伤外，这些问题的原因可能是战斗与个人生活之间的模糊或缺乏分隔（以美国在中东的无人机飞行员为例，“驾驶舱”可能在美国，离飞行员的家不远）^[4]，或者定义为操作员与目标之间的遥远或暂时亲密。^[5] 人工智能对身心劳损的免疫、产生持续、一致的战场效果的能力，以及其委托决策和取代人类的潜力，对军事伦理和国际人道法（IHL）都具有重大影响，模糊了虚拟战争与实际战争之间的界限。随着人工智能集成到致命性自主武器系统（LAWS）中，以及声称这提高了任务有效性并使战争更加人道和合乎伦理，这些关切进一步加剧。^[6]

战争中使用人工智能的伦理和法律挑战

在军事操作中越来越多地使用人工智能引发了复杂的伦理和法律问题，这些问题与问责、道德能动性以及人类价值观与机器行为的对齐等关切相呼应。^[7] 传统上完全由人类做出的决策现在可能涉及人工智能系统；然而，在价值判断或评估中采用人工智能可能会造成问责缺口，即法律和道德责任不一致。^[8]

当采用智能体人工智能时，情况尤其如此，例如在战场管理系统（BMS）中。与反应式或生成式人工智能不同，智能体人工智能具有独立的能动性，能够自我建模并规划其行动。^[9] 它代表多级自主、目标设定和面向目标的智能体，能够在动态和复杂环境中进行独立推理、主动决策和行动执行。^[10] 所有这些都是以超过人类处理的速度完成的，战术和战略系统分别支持95%和80%的自动化。^[11] 然而，一个需要考虑的主要方面，特别是在责任归属和问责方面，是涌现行为。它是复杂系统及其系统元素之间在动态环境中以意想不到的、未编程的或不易解释的方式表现的特征。例如，在战场管理系统中，涌现行为可能破坏其目标搜索元素，导致不可靠的情报或不准确的武器系统目标定位。^[12]

战争中人工智能的伦理与道德维度

与将人工智能集成到军事应用中相关的新挑战，特别是自主武器和系统，主要围绕伦理影响。更准确地说，受到质疑的是机器本身的道德地位，即致命性自主武器系统自主夺取生命是否“公平”或“正确”。从这个意义上说，自主武器的使用破坏了传统的问责观念，这种观念长期以来一直作为有害行为的威慑、确保遵守法律标准并为所采取的行为分配道德责任。核心论点是，自主武器无法提供充分的问责，因为原则上让非人类武器系统对其行为负责似乎不合逻辑，这呼应了IBM培训手册中的一句名言摘录：“计算机永远不能被追究责任，因此计算机绝不能做出管理决策”。^[13] 这种情况造成了一种所谓的“道德缓冲”，减轻了使用系统的军事操作员或指挥官以及系统开发人员、程序员或测试人员的责任。^[14] 此外，由于难以归因，在人工智能军事应用于网络领域时带来了问责挑战，因为追究行为者对错旗操作的责任可能很困难。^[15] 结果，倡导者认为，战争中致命性自主武器系统存在一个问责缺口，因为没有适当的责任焦点。

此外，作为重要伦理和宗教原则的人类尊严这一固有观念，是自由、正义与和平的基础^[16]，这使得自主机器夺取人类生命在道德上是错误的。这一原则被载入《世界人权宣言》，尽管没有约束力，但影响了国际法和具有约束力的人权条约的发展。根据这一原则，只有拥有上述尊严并具备进行道德判断能力的人类才“有资格”杀死另一个人类，这与缺乏证明其行为合理所需道德品质的非人类系统不同，不应做出具有如此重大伦理影响的决策。^[17] 围绕这一问题的讨论还与人类情感在战争中的道德意义有关；虽然愤怒或恐惧等情绪可能导致一个人本能地行动，尽管方式轻率，但它们也提供了一种对生命的至关重要的同情和尊重感，这在武装冲突中行使谨慎是必要的；而这些品质是全自动武器系统所不具备的。这也意味着与武装冲突的道德架构不相容，因为国际人道法假设人类判断是责任的所在。^[18]

与人工智能相关的另一个伦理风险是其破坏人权和个人隐私的潜力。它对用于大数据分析、人脸识别和网络能力的大型数据库的依赖，以及对构成物联网的网络设备的依赖，可能使强大的公司和极端主义政府能够监视其公民、瞄准持不同政见者并审查内容。^[19] 此外，创建可信假视频（如深度伪造）和散布虚假信息的信息操作的能力，可以轻易利用认知偏差^[20]和人类认知的其他结构性限制，如受限的工作记忆、注意力限制、认知和确认偏差，并可能导致社会危害，例如客观事实和数据的重要性降低。^[21] 此外，在人工智能辅助目标定位的背景下可能出现隐私和人权问题。

例如，关于加沙冲突的报道表明，以色列国防军使用的“薰衣草”人工智能目标定位系统识别了大约37,000名据称与恐怖组织有关的个人。虽然人类分析师在授权打击前确实审查了系统的建议，但据报道他们只花了大约20秒来验证其输出，常常认为它们更可靠，并导致、鼓励和放大了人类分析师让机器有效接管他们“思考”的意愿。^[22] 虽然目标定位过程通过情报收集、选择标准的定义和作战资产的任务分配更早开始，但人机交互的最后阶段暴露了重要的漏洞。在实践中，操作员的作用可能减少到有时间限制的否决权，而不是有意义的审议，同时使人类参与最小化且复杂化。^[23] 这种情况会强化自动化和行动偏差，鼓励操作员遵从算法推荐。在涉及致命武力的情况下，这尤其成问题，因为定点清除需要谨慎和深思熟虑的决策。即使存在正式的决策框架，如果操作员迅速确认系统输出，或者决策者由于确认偏差而忽视矛盾的情报，这些框架也可能被证明是无效的。此外，在偏见或不完整数据集上训练的机器学习系统存在歧视性结果的风险，而在动态冲突环境中保持足够更新和丰富的上下文数据仍然是一个重大的作战挑战。^[24]

国际人道法和武装冲突法下的法律挑战

本小节的目标是确定国际法是否包含指导方针，可以教育各国并为其如何按照伦理原则操作自主系统提供方向。尽管国际讨论和专家尚未就自主武器系统采用普遍接受的定义，有多达12种定义^[25]，关于武器自主概念的一个关键问题仍然存在。不同国家和国际组织通过评估法律、伦理或军事问题的重要程度来解释自主性。^[26] 尽管缺乏共识，但很明显，人工智能的使用对传统的问责概念、责任归属以及对使用武力进行有意义的人类控制的要求提出了挑战。困难在于，监管框架必须考虑到自主系统的发展速度，这已经超过了现有的传统伦理和法律概念，并且正在超越新概念的建立，以及多样化的全球地缘政治和社会文化背景与哲学。^[27] 由于占主导地位的欧洲、北美和亚洲伦理框架既不统一也不普遍共享，并且经常反映特定的哲学、政治或文化传统，主要源自它们的监管指南可能缺乏全球合法性。^[28] 因此，嵌入致命性自主武器系统国际治理机制中的伦理规范可能与替代性的宗教、文化或社会价值体系冲突或将其边缘化，使建立广泛接受的标准的努力复杂化。^[29] 这些基于伦理考虑的方面，构成了在国际人道法下军事背景中有关使用致命性自主武器系统的长期辩论的基础，特别是关于实质性原则，即区分、比例和预防。^[30]

武装冲突法（LOAC），也称为国际人道法，是一套国际法规则，无论是习惯法还是公约法，旨在管辖国际或非国际武装冲突情况下出现的问题。武装冲突法基于正式条约，如海牙和日内瓦公约及其附加议定书，以及习惯国家实践和马顿斯条款，该条款基于“人道原则和公众良知要求”将保护扩展到成文法之外。^[31] 此外，日内瓦公约第36条特别规定，在“研究、开发、获取或采用新武器、手段或战争方法”时，公约缔约国“有义务确定其在某些或所有情况下，其使用是否被本议定书或国际法的任何其他规则所禁止”。^[32] 由于将人工智能集成到军事系统中完全可以理解为一种新武器，各国和国际组织引发了关于依赖人工智能系统的法律审查的辩论，以确保其使用符合武装冲突法。

在此背景下，武装冲突法的三个核心原则尤为相关。首先，区分原则要求在战斗人员和平民之间做出明确区分。其次，比例原则要求对武力的使用进行评估，应与军事目标相称，因此禁止预计会造成过度伤害的攻击。第三，预防原则要求采取措施核实目标是否合法，并确保不造成平民伤害。^[33]

批评者，如人权观察组织和国际人权诊所，在《丧失人性：反对杀手机器人的理由》中认为，由于完全自主武器无法在复杂的动态环境中区分战斗人员和非战斗人员或评估比例，因此无法遵守武装冲突法原则。^[34] 例如，完全自主武器不太可能区分“恐惧的平民和威胁的敌人”，甚至是投降的敌人^[35]，特别是在城市作战背景下，交战方可能“抛弃”他们的制服和 distinctive 标志，穿上平民衣服，或躲在学校、医院和住宅楼内，不公正地使平民处于危险之中。此外，完全自主武器可能无法满足比例原则，该原则要求根据具体情况对平民的潜在伤害和附带损害与军事目标的重要性进行主观分析。判断比例“需要的不仅仅是量化数据的平衡”，还涉及人类的伦理、定性和评估判断，人类权衡和比较复杂的价值，并保持道德本质和对人类尊严的尊重。^[36] 人工智能系统可能违反武装冲突法的论点扩展到可能针对民用网络或系统的人工智能赋能网络能力。

政策影响与治理方法

前一节概述的伦理和法律挑战也对政策和治理具有重大影响。因此，在考虑在战争中使用人工智能时，政策制定者必须考虑到伦理后果和遵守现有法律框架。在这方面，治理方法应解决问责缺口，明确定义责任，并确保人工智能的部署与现有法律框架（如国际人道法）保持一致。

需要连贯的治理框架

在其他武器系统中，致命性自主武器系统在武装冲突法框架内根本上缺乏伦理合法性，并且在许多方面缺乏法律合法性。然而，当前的法律框架并未全面解决所有相关的伦理关切，造成了规范性缺口，这引起了各国政府、国际组织和政策研究所的日益关注，它们在塑造新兴治理框架方面发挥着核心作用。^[37] 联合国及其政府专家组（UN GGE）^[38]、北约秘书长、红十字国际委员会和国防部等机构的报告和政策声明强调了在2026年底之前建立更清晰的规则和监管机制以规范致命性自主武器系统的开发和部署的紧迫性。^[39] 然而，目前不存在连贯和全面的全球治理框架；监管是分散的，正如本节通过审视缓解与自主武器系统相关的伦理和法律挑战的三种主要方法所说明的那样。

创建在主题和地理上都具有全面性的监管框架的困难，集中在当前的审议途径和开发人工智能系统的主要国家的立场上。^[40] 直到最近，最突出的论坛一直是联合国政府专家组，该专家组见证了在致命性自主武器系统监管现状上出现的两大阵营。首先是禁止致命性自主武器系统的联盟，由非政府组织、国际组织以及全球南方大多数国家和中国组成。^[41] 另一方面，美国、俄罗斯联邦和北约的几个成员国通常坚持认为，此类系统已经受到充分监管，并警告说具有约束力的限制为时过早，并可能对技术创新有害。^[43]

然而，截至2023年，除了制定11项关于致命性自主武器系统的不具约束力的指导原则外，自主武器系统全球监管方面的进展已经停滞，部分原因是政府专家组所基于的协商一致形式。^[44] 作为回应，在该框架之外出现了替代治理倡议，例如2023年军事领域负责任人工智能首次峰会（REAIM）。该峰会产生了《行动蓝图》，由荷兰、大韩民国和英国等中等和较小国家联盟组织并支持，呼吁军事人工智能遵守国际法并保持以人为本。^[45] 值得注意的是，俄罗斯等大国没有认可该倡议，反映了在军事人工智能领域更广泛的地缘政治竞争。^[46] 来自红十字国际委员会和联合国系统等人道主义行为体的平行规范性压力也出现了，其领导层敦促各国在2026年前就致命性自主武器达成国际规则。同样，截至2021年，欧盟议会通过了两项关于致命性自主武器系统和军事人工智能的决议，联合国大会于2023年通过了其关于自主武器的第一项决议，并在2024年通过了“军事领域人工智能及其对国际和平与安全的影响”决议，以绝大多数会员国赞成通过。^[47] 总之，这些倡议表明了一种向更广泛的多边参与发展的趋势，通常由中等强国推动，在主要技术大国仍不愿接受对军事人工智能具有约束力的限制时，寻求替代的治理途径。

解决完全自主人工智能系统带来的伦理挑战的最受欢迎的方法之一是保持“人类在回路中”。^[48] 这指的是“回路中”的人类可以确保遵守法律和交战规则，并对系统的行为负责。然而，在某些军事应用中，如导弹拦截系统，存在将人类移到“回路上”位置的压力，以避免减慢系统的反应时间。这就提出了一个问题，即人类能在多大程度上足够迅速地干预以制止交战。^[49] 回路概念提供了一种降低风险的方法，但它是不完整的，因为它没有解决人类在系统生命周期其他部分的作用（例如，游荡弹药在发射后保持待机状态，直到识别目标，需要人类发射，满足人类在回路中的要求），也没有区分不同种类的指挥与控制安排。

进一步的方法支持“有意义的人类控制”的理念，这一概念旨在确保人类对自主系统的参与，以降低风险。它要求人类在系统的整个开发和部署过程中，包括设计、训练和问责结构，对系统拥有重要的道德、法律和作战控制。美国战争部更倾向于“适当的人类判断”的概念，强调在人类与机器关系在系统开发和使用的整个过程中，而不仅仅是在决策时刻，以进一步增加自主性。^[50] 这源于一种信念，即武器系统中增加的自主性可以更好地实现指挥官的意图，并且禁止致命性自主武器系统会破坏人道主义价值观。^[51] 然而，什么构成“适当的判断”或“有意义的控制”仍不清楚，并且它有可能掩盖人机交互的挑战，并被正在进行的国家实践所不利地塑造。^[52] 尽管不同的评论员对自主武器所需的人类参与类型提出了自己的术语，但共识是武器必须保持在人类控制之下。^[53]

在以前的联合国《特定常规武器公约》会议上，政府专家组已经确定了武器系统生命周期中需要人类影响和控制的各个阶段^[54]，这一想法似乎获得了关注，因为2026年联合国《特定常规武器公约》政府专家组工作文件强调了人类控制和责任对武器系统的核心地位。^[55] 通过定义人类需要参与的系统的生命周期阶段，这种方法强调了人类在包括部署后分析在内的整个生命周期中进行风险管理的重要性。它将人类参与描绘成一个复杂的概念，人类在不同时间扮演不同角色，而不仅仅是在目标选择和交战期间，目标是确保风险管理。为确保人类参与并降低风险，可以对人工智能系统的设计和开发施加一些限制。一个起点可以是对自主系统在没有人类参与或指导的情况下可以运行的时间进行限制。虽然一些自主系统被设计为长时间运行，但美国战争部的“武器系统中的自主性”指令规定，自主武器必须在与指挥官意图一致的时间范围内完成任务。^[56] 如果他们无法做到这一点，他们必须要么终止任务，要么在继续之前寻求额外的人类输入。在出现故障或系统超出这些限制的情况下，可以将其编程为中止任务并返回基地。^[57]

正如这三种方法所强调的，缺乏统一的框架，这突显了主动监督和适应性但有效的监管的重要性，因为技术发展迅速，此类军事应用的风险很高。正如联合国秘书长过去所强调的，通过一项要求有意义的人类控制的有法律约束力的文书至关重要，因为“我们不能将生死攸关的决定委托给机器[而且]采取预防行动的时间已经不多了”。^[58] 因此，需要建立一个连贯的监管框架，该框架可以随着技术进步而发展，同时提供清晰、可执行的标准，以确保问责制并遵守道德价值观和法律规范。

走向战争中的负责任自主

为应对人工智能系统不断扩大的能力，可能会限制其在没有人类参与的情况下可以执行的任务的数量和类型。然而，正如越来越多的旨在实现负责任采用人工智能的标准、评估模板、审查流程和其他工具及良好实践所表明的那样^[59]；具有更重大风险的自主系统，例如那些能够采取致命行动或瞄准人员的系统，可能需要额外的安全控制和测试。^[60] 为确保系统按预期运行，应建立可靠性和可预测性标准。这些标准必须在系统的设计和开发阶段建立并满足，并且必须持续维护，定期进行评估。可以合理地预期，影响力越大的系统将需要更高的可靠性和可预测性。为了帮助降低人工智能风险，系统设计中需要考虑的另一个方面是干预和停止系统的能力，特别是在事故和故障的情况下，操作员应能够在必要时及时干预以重新引导系统的行动，同时仍满足任务要求。对于在平民附近操作中使用致命武力的系统，操作员应能够快速干预；对于不使用致命武力或在远离平民的地区采取防御行动的作战系统，干预时间可能较慢但仍然是合理的。^[61]

另一个需要考虑的方面是系统所需的透明度级别。为了降低与人工智能相关的风险，操作员必须知道系统在特定作战环境中被设计用来做什么，并了解系统如何做出关键决策或采取特定行动。^[62] 此外，操作自主系统的最佳实践是使用训练有素的操作员易于理解的界面，提供系统状态反馈，并包括激活和停用系统功能的清晰程序。^[63] 2018年4月联合国《特定常规武器公约》政府专家组会议主席的总结也强调了操作员了解武器系统特性并拥有足够可靠的信息以做出明智决策和确保合法合规的重要性。^[64]

虽然当前的论述通常假设军事决策的未来将保留“人类在回路中”，并且最佳方法是将人工智能与人类操作员配对组成人机团队，但这种假设可能只被证明是部分有效的，因为此类系统中的人类监督在实践中可能变得名义上，并且人类与自主系统之间的决策权限平衡可能会根据系统设计或作战节奏而转移。^[65] 在短期内，这些模型可能占主导地位；然而，心理学研究强调了人类认知的固有局限性，包括受限的工作记忆、注意力限制、认知和确认偏差以及损失厌恶，在某些情况下，这些限制可以使自动分析优于人类推理，特别是当信息以越来越快的速度流动时。^[66] 这引发了关键的作战问题，例如与“人类在回路中”的系统相比，自动化过程（如正向识别（PID）或目标分析）是否可以在经验上降低错误率。因此，国防战略不能仅仅侧重于促进有效的人机伙伴关系，还必须确定人类认知局限性可能成为人工智能性能主要制约因素的领域。这将定义人类判断必须保持至高无上的地方，以及人工智能部署可能最合适的地方，特别是在对手可能充分利用其自主系统能力的高节奏战斗环境中。^[67]

目前，与主要军事强国的雄心相比，所部署的技术仍然相对初级。尽管如此，人工智能的进步为军事行动提供了重大机遇，与常规部队相比，有可能减少人员风险并提高精度。然而，这些好处与深刻的伦理挑战密不可分，因此有必要确保在军事领域负责任地使用人工智能。这需要将作战效能与伦理原则、问责制和人类监督相平衡。为此，各国政府应优先组织、训练和装备武装部队，使其在人工智能赋能系统在多个领域发挥决定性作用的安保环境中有效运作。同样重要的是制定全面的框架，以解决人权倡导者和联合国等国际机构提出的伦理问题。只有通过此类措施，将人工智能集成到军事系统中才能以最大化其战略优势的方式推进，同时维护支撑合法军事行动的道德和法律标准。

结论

人工智能正在迅速重塑军事行动和决策，带来了现有监管框架只能部分解决的伦理、法律和治理挑战。虽然人工智能赋能的系统可能会增强作战效能、精度和部队保护，但它们也带来了削弱问责制、放大自动化偏见以及在武力使用中减少有意义的人类判断的风险。因此，主要挑战不仅在于技术本身的自主性，还在于决策者、人工智能系统与管辖其使用的制度框架之间不断演变的关系。

本文认为，如果作战条件将监督减少到仅仅是名义上的批准，那么仅仅保持正式的人类参与是不够的。随着军事组织越来越多地将人工智能集成到目标定位、情报分析和自主系统中，确保遵守国际人道法将取决于在整个系统生命周期中保持有意义的人类审议、透明度和问责制。

最终，将人工智能集成到战争中可能是不可避免的。因此，对政策制定者来说，关键问题不是是否应该在军事行动中使用人工智能，而是在什么法律、伦理和治理条件下，其使用才能与人类责任、国际人道法以及支撑合法军事行动的原则保持一致。

https://tdhj.org/blog/post/ai-ethics-military/