自主武器系统(AWS)正引发日益广泛的争议,其核心症结在于此类系统是否削弱了人类对武力运用的“有意义控制”。当前关于自主武器系统的讨论多聚焦于未来技术发展,然而深入审视自动化与自主化功能如何已融入防空系统关键流程便会发现,在特定情境下,人类控制实则已名存实亡。本报告主张,在自主武器系统讨论中长期被忽视的防空系统,已然为该类武器的研发与规制树立了重要且堪忧的先例。

本报告详述了具备自动化与自主化特征的防空系统在开发、测试及实战部署过程中,如何在具体目标识别决策环节侵蚀了人类对武力运用的实质性控制,使其日渐流于形式。我们认为这种“无意义性”体现在双重维度:其一,因系统反应速度极快、任务复杂度极高以及操作人员承压过重,人类主体难以对防空系统实施审慎控制(即人类对武力的控制缺乏实质意义);其二,随着机器代理权限的持续递增,人类在具体目标决策中的控制范围与实质内涵被逐步架空,形成累积性效应(即人类控制随时间推移不断弱化)。

防空系统在受控武器参数与预设环境下运行,但在人机交互层面,其关于人类控制有效性的实践暴露出显著缺陷。随着越来越多任务被委派予机器,操作人员角色已从主动操控退化为被动监督。这一转变的累积后果是将人类主体置于一种看似参与实则极度复杂的尴尬境地。人机交互领域的专家已承认此问题的严重性,并推动了部分战术层面的操作调整,却未引发对持续推进防空系统自动化与自主化进程是否妥当的根本性质疑。

这表明,数十年来具备自动化与自主化特征的防空系统的研发与运用,已在潜移默化中助长了一种未经言明的规范默许。规范即指导行为的“合宜性”认知,其未必指向普世标准,往往反映特定行为体在特定语境下的判断。防空系统正助推形成一种界定“合宜”人机交互的新兴规范——而这正是“有意义的人类控制”的核心要素。此种规范被政策制定者心照不宣地接受,先于且平行于2014年以来联合国《特定常规武器公约》框架下的国际辩论。其根本问题在于,它将操作人员目标决策角色的弱化常态化,视为可接受且“合宜”之举,从而背离并消解了当前将“有意义的人类控制”确立为潜在自主武器系统国际新规普遍义务的审慎努力。

本研究基于对全球28款具备自动化与自主化特征的防空系统的定性梳理,并结合对四起误击军民航空器事件中相关系统的深度人机交互分析。本项研究推动关于自主武器系统的讨论超越单纯技术能力视角,转而关注防空系统在“常态化”集成自主功能方面的示范效应,及其对具体目标决策中“有意义的人类控制”内涵的重塑。

通过揭示“无意义人类控制”的浮现,本报告阐明:进一步将自主功能集成至武器系统既非如常理所想的那般可取,亦非不可避免。遵循“停止杀手机器人运动”的倡议,我们支持以“有意义的人类控制”为核心积极义务,制定关于自主武器系统的新型国际法。为确保此类法律保障确能维系对武力的“有意义”而非“无意义”控制,现就联合国《特定常规武器公约》框架下参与致命自主武器系统国际辩论的各利益相关方提出以下建议:

• 各国应在特定武力运用场景中操作具备自动化与自主化特征武器系统的现行实践应予公开并接受审查。诚如本报告所论,此类操作实践直接塑造着“有意义人类控制”的内涵,尤其是人机交互的质量与类型。

• 除防空系统外,亟需就其他现役自动化与自主化武器系统所催生的“有意义人类控制”新兴标准开展深度研究。此类研究可切实揭示自动化与自主化给人机交互带来的现存及未来挑战,若不加明示应对,恐将固化隐性的“合宜性”认知。

• 本研究表明,尽管“有意义人类控制”的技术、条件及人机交互三要素均至关重要,但通过人机交互实现的管控才是确保控制不失其真的决定性环节。此点尤为关键,因为人机交互凸显的是武器系统具体使用节点的控制有效性,而非研发等前期阶段的管控。

• 在裁军辩论中任何关于“有意义人类控制”的成文规范,均应将人机交互管控作为核心要件。我们界定了人类主体行使有意义控制的三个先决条件:(1)对目标识别系统的运作机制及决策逻辑具备功能性认知,包括其已知缺陷(如航迹分类问题);(2)充分的态势感知能力;(3)具备审视机器目标决策的能力,而非过度信赖系统。当然,人类操作人员必须保有中止武力使用的权限。

• 上述确保具体目标决策中“有意义人类控制”的三个先决条件(功能性认知、态势感知及机器决策审视能力),为自主武器系统研发划定了不可逾越的硬性边界,应纳入国际法明文规范。这构成了技术层面的“卢比孔河”,一旦逾越便将使人类控制彻底丧失意义。恪守这些条件不仅有助于维系控制的实质性,亦有望缓解当前防空系统操作人员无意中被置于必然失败境地的压力。

• 人机交互固有的复杂性意味着,在具体目标决策中实现“有意义的人类控制”必然存在局限。确保操作人员接受严格训练是维系控制有效性的必要前提,却非万能良方。这一严峻现实须向所有相关利益方明确昭示。

成为VIP会员查看完整内容
3

相关内容

军事防务数据板块介绍:系统化采集、存储、管理、分析与军事国防安全相关信息的专用数据板块,其核心在于整合全球新兴国防技术(军事人工智能、无人系统等)、热点案例(俄乌战争、美以伊战争)等方面的最新时讯、研究报告/论文、条令法规、案例分析,为战略研判、情报分析、决策支持等提供知识支撑。
《人工智能军事化与自主武器系统》最新26页报告
专知会员服务
27+阅读 · 2025年6月29日
《自主武器系统(AWS)的网络系统视角》
专知会员服务
31+阅读 · 2024年11月18日
《信任还是毁灭:确保自主武器系统的可信性》
专知会员服务
27+阅读 · 2024年10月23日
《自主武器系统的问题化——美国国防部案例研究》336页
人工智能和军备控制,80页pdf
专知
16+阅读 · 2022年11月2日
人工智能技术在军事领域的应用思考
专知
49+阅读 · 2022年6月11日
国家自然科学基金
122+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
50+阅读 · 2013年12月31日
国家自然科学基金
21+阅读 · 2013年12月31日
国家自然科学基金
39+阅读 · 2013年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
国家自然科学基金
10+阅读 · 2012年12月31日
国家自然科学基金
24+阅读 · 2011年12月31日
Arxiv
23+阅读 · 2023年3月8日
VIP会员
最新内容
《同步多无人机系统中的故障与通信》
专知会员服务
2+阅读 · 今天6:23
面向国防作战的最佳自主与蜂群无人机技术
专知会员服务
7+阅读 · 7月28日
《异构人类团队的协作决策过程混合建模研究》
博士论文 | 面向大模型推理的内存高效算法
专知会员服务
5+阅读 · 7月27日
美空军新型反无人机部队初探
专知会员服务
9+阅读 · 7月27日
相关基金
国家自然科学基金
122+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
50+阅读 · 2013年12月31日
国家自然科学基金
21+阅读 · 2013年12月31日
国家自然科学基金
39+阅读 · 2013年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
国家自然科学基金
10+阅读 · 2012年12月31日
国家自然科学基金
24+阅读 · 2011年12月31日
微信扫码咨询专知VIP会员