深度神经网络的普遍存在使得人工智能成为战术通信与网络系统不可或缺的组成部分。然而，现代深度神经网络的过度自信在关键任务应用中构成了显著风险。选择性分类是一个有前景的范式，它通过使深度神经网络能够避免给出不可靠的预测来缓解此问题。尽管在计算机视觉领域有大量关于选择性分类的工作，但这些方法在战术通信场景中的效用尚未得到评估。本研究评估了战术领域内的最先进选择性分类方法，重点聚焦于它们分别使用RadioML和ACI IoT数据集时，在自动调制分类和网络入侵检测系统任务中的适用性。关键发现表明，对于自动调制分类任务，选择性分类在降低20%覆盖率的情况下可将风险降低55%；对于网络入侵检测系统任务，在覆盖率损失最小的情况下，风险可降至接近零。此外，分析了选择性分类在数据分布变化下的性能，揭示了传统方法在处理协变量偏移和语义偏移方面的局限性。最后，探讨了提升选择性分类性能的训练策略。

人工智能的快速发展已彻底改变了从医疗保健到工业自动化等众多领域。军事通信和战术系统也不例外。特别是，深度神经网络在自动调制分类和网络入侵检测系统等领域的集成，显著增强了情报收集和保护网络基础设施的能力。然而，这些进展也带来了与深度神经网络推理可靠性相关的挑战。在关键任务应用中，深度神经网络在置信度低时避免做出预测至关重要。不幸的是，现代深度神经网络即使在其预测不正确时，也常常表现出过度自信。这种过度自信损害了其可信度，并引发了对其在高风险战术场景中部署的担忧。

在“选择性分类”这一统称下，已发展出多种方法。其主要思路是训练深度神经网络来识别其自身的不确定性并据此采取行动。选择性分类通过避免给出不确定或置信度不足的推理，提高了深度神经网络的弹性和可靠性。这降低了错误率，但以覆盖率为代价——覆盖率定义为深度神经网络提供推理的输入所占百分比。该领域的方法主要是针对计算机视觉领域开发的。先前的研究通过修改训练算法或深度神经网络架构，探讨了在深度神经网络中引入“弃权”选项。另一研究方向则通过事后调整来解决过度自信问题。迄今为止，尚未有研究探讨选择性分类方法在这一关键领域内的局限性。

本研究评估了最先进的选择性分类方法在自动调制分类和网络入侵检测系统中的应用。具体来说，试图回答以下问题： 1）在给定的覆盖率预算内，选择性分类能降低多少风险？ 2）在数据分布变化下，选择性分类是否有效？ 3）是否存在特定的训练机制，能使深度神经网络天生具备选择性？

为回答上述问题，对射频指纹数据集RadioML和网络入侵检测系统数据集ACI IoT进行了系统性研究。这直接关系到人工智能安全与保障，并致力于为军事应用构建更安全、更可靠的人工智能系统。总之，做出了以下贡献：

• 提出了一个通过人类反馈增强的战术通信系统框架，以提高可靠性。该框架集成了一个选择性分类模块，该模块决定是将决策推迟给人类专家，还是继续进行自动化决策。无论人类决策的有效性如何，选择性分类可将RadioML数据集的风险降低55%，而覆盖率仅损失20%。对于ACI IoT数据集，风险可从2.5%降至0.05%，而覆盖率损失仅为5%。
• 表明选择性分类无法处理数据分布变化。使用传统的选择性分类方法，只能检测到约30%的样本，而专注于检测数据分布变化的方法可检测到约80%的样本。这表明选择性分类无法解决弹性问题。
• 研究了在视觉领域已被证明能提升选择性分类性能的不同训练策略。本文发现，使用熵正则化和随机权重平均进行训练有利于选择性分类，在RadioML数据集和VGG8架构上，这为选择性分类带来了1%的性能提升。