计算机视觉正日益广泛地部署于各国军队，用于无人机探测与识别、无人机跟踪和末段制导等关键防御任务。这在战场作战领域持续引发变革，为在现代城市战的复杂性、人力减少及图像源大量涌入的背景下，应对对手大规模使用低成本无人机所带来的压倒性能力，提供了新途径。计算机视觉的最新进展，包括采用更大训练数据集的更高性能模型以及传感器平台边缘计算能力的提升，降低了自动化的准入门槛。然而，伦理考量、法律责任以及目标决策中人的关键因素仍然至关重要。这产生了一个新的瓶颈：人类审查和进一步调查模型输出的能力，从而需要高度精准和精确的模型，使其能在不过度增加信息负荷的情况下支持军事操作员。

通过稳健的测试、评估、验证与确认来确保计算机视觉模型的可靠性，对于有效部署至关重要。然而，经典卷积神经网络在多样化现实条件下的有限泛化能力阻碍了可扩展性。当前的测试、评估、验证与确认方法，包括公共基准，通常缺乏对特定反无人机应用和图像的相关性，而定制的测试又非常耗费资源。弥合治理、运营和技术需求之间的差距，对于在国防领域扩展计算机视觉应用至关重要。因此，确保计算机视觉模型能够满足防务和安全用户的需求，需要设计常规的结构和流程，以弥合治理、运营和技术要求之间的差距。

为解决这些问题，提出了一个专为任务导向、高风险的反无人机计算机视觉系统量身定制的保证框架，适用于光电和红外图像。该框架制定了创建稳健内部参考数据集并量化其属性的标准，包括一种用于界定难以探测目标的方法，并引入了用于计算机视觉模型的全面部署前测试检查清单。将展示一些实际实施的示例，以及如何开发高度情境化、针对特定用例的内部基准，以标准化方式比较模型。总体而言，该框架旨在简化和扩展自动化测试，识别性能薄弱环节，并为决策者部署计算机视觉模型提供清晰的“通过/不通过”标准，最终弥合测试差距并培养对这些关键技术的信任。它还将通过为评估反无人机解决方案中感知软件性能的志同道合的防务机构提供一个共同的参考框架，并促进信息共享，从而增强互操作性。

计算机视觉是一个研究领域，涉及计算机如何利用视觉数据理解和分析来自环境的信息，涵盖包括光电、热成像和雷达传感器在内的多种成像技术和平台。在过去十年中，随着人工智能技术日益广泛的应用，计算机视觉取得了显著进步。相应地，计算机视觉系统也在国防应用和系统中得到广泛使用，协助人类操作员处理和分析来自各种成像传感器的数据，用于目标探测、分类、跟踪和打击。应用于反无人机防御任务，计算机视觉系统可在以下方面发挥作用：扩展操作员超越人眼视觉感知小型无人机的能力；通过计算机自动化简化分类、跟踪和打击任务，从而应对更具挑战性的目标；补偿其他反无人机传感器的局限并增强系统冗余，代价是增加计算需求和系统复杂性。在本文中，“无人机”一词指无需飞行员的飞行器，应理解为与“无人驾驶航空器”可互换。反无人机任务特指对这些无人机进行探测、分类、跟踪和打击，不包括其地面控制系统、操作员、保障人员及其装备，以及其他无人航空系统组成部分。

方法概述

鉴于这些挑战，本文提出了一种新颖的方法，旨在结合公共基准和组织/项目中心化评估的最佳方面，同时最小化各自的局限性。我们的目标是为评估反无人机系统中的计算机视觉创建一个全面、可信且适应性的通用框架，为比较商业解决方案提供一个共同的基线。该框架将附带一套工具包，用于沿特定维度评估数据和模型，生成数据以增强测试数据，并允许用户将其机密数据集保留在其系统内以保护其数据，同时允许其在广泛的信息共享协议下，与选定的合作伙伴共享其场景特征、合成数据或关于其自身或供应商模型行为的发现。这种集成方法旨在利用公共基准的标准化比较属性，同时纳入定制化评估的现实相关性和特异性。

在方法中，将定义测试反无人机计算机视觉系统的质量维度，收集与国防场景相关的光电和红外图像真实数据，在识别出数据缺口时用仿真生成的数据增强测试数据，并针对上述质量维度测试这些系统。随着时间的推移，我们的方法旨在发现、标准化和参数化——作为一套稳定的通用场景、数据和仿真对象——一个用于反无人机及其他类似任务集的计算机视觉评估新兴标准，以进一步加强和统一反无人机系统评估领域的共同实践社群。任何旨在实现全面性、精确性及恰当颗粒度的评估方法，都需要沿着三个总体工作轴线寻求解决方案：创建一种稳健的方法论，预先防范对被测试系统知识可能存在的不足；收集和策划一个被证明足以覆盖可能场景的数据集；以及开发一种在事后发现测试库的场景和数据集不足时，能够动态更新它们的手段，因为测试人员很可能会发现新的相关场景或先前未考虑的测试维度。