无人飞行器（UAV），亦称无人机，已被用于监视、侦察、货运与递送等多种目的，预计商业无人机市场将在不远的将来达到显著的增长水平。然而，无人机可能意外或故意侵入主要机场航线，飞近商用飞机，或侵犯个人隐私。为防止此类不良事件发生，需要反无人机技术来消除无人机带来的威胁，并期望无人机能够安全地融入空域。目前正在开发多种反无人机解决方案，但无人机探测地面系统的成本也可能非常高，具体取决于部署的传感器数量和强大的融合算法。

由人工智能（AI）方法支持的反无人机系统，可以成为替代人工干预、对抗无人机的有效途径。考虑到人工智能领域的最新进展，配备AI的反无人机系统也能非常精确。与目标交战所需的时间可能少于基于人工干预的其他方法（例如用激光枪击落恶意无人机）。此外，AI能够以高精度识别和分类目标，以防止对目标物体的错误拦截。结合AI的反无人机技术将为应对某些无人机带来的威胁带来重要优势，并有助于使空域变得更加安全可靠。人工智能已在航空航天领域的多个研究方向中用于创建智能系统。特别是，无人机可以通过深度强化学习等AI方法出于不同目的进行控制。在DRL的支持下，无人机可以变得更智能，并最终实现完全自主。

本博士论文的主要目标是开发一种基于深度强化学习的人工智能方法，以反制可能对安全构成威胁的无人机。AI智能体能够持续学习并适应新的威胁，使用DRL反制无人机具有多项优势。最重要的优势之一是自主决策，这使得AI智能体能够根据其环境和态势自主做出决策。通过这种方式，即使在复杂脆弱的环境中，也能快速有效地应对无人机威胁。此外，AI智能体可以在模拟环境中进行训练，从而在部署前进行安全的实验、测试和验证。

首先，提出了DRL架构，使无人机能在郊区模拟环境中自主行动。其次，也将一种用于无人机探测的先进目标检测算法纳入反无人机解决方案。无人机检测模型的构建涉及迁移学习和训练一种先进的目标检测算法。在实现能够在环境中避障的完全自主无人机后，提出了一种在环境中于二维空间反制无人机的深度强化学习方法。通过这种方式，无人机可以保持其当前高度，并尝试捕获另一架无人机，同时避免与环境中任何障碍物相撞。最后，开发了一种深度强化学习模型，用于在具有挑战性的三维空间环境中反制无人机。学习型无人机不仅能在二维空间移动，还能通过改变高度来消除目标无人机。

DRL是一种有前景的应对无人机的方法。它涉及训练AI模型，但存在一些需要应对的挑战。最大的挑战之一是训练DRL算法需要大量计算能力。如果训练在没有模拟环境的情况下进行，训练DRL模型可能计算密集，这使得其在资源有限的一些应用中不切实际。此外，还存在对AI智能体在敏感环境中可能采取行动的担忧。确保AI智能体得到适当训练和验证至关重要，以便它们能够做出安全、负责任的决策。如果没有适当的测试和验证，在机场或关键基础设施等敏感区域的AI智能体存在执行危险或违反法规行为的风险。通过应对这些挑战，基于DRL的反无人机解决方案可以变得更实用、高效和安全，以适用于未来。

值得注意的是，本文所涉及主要主题的广泛前沿研究已在前面介绍。针对每个主题更深入、更详细的前沿研究综述包含在讨论该主题章节的开头。本论文共分八章，概要如下：

• 第二章介绍强化学习基础理论和方法，以建立深度强化学习的核心概念。同时介绍用于反无人机系统的无人机检测主要概念，以备后续实现中使用。此外，还讨论了与无人机导航、避障以及反无人机解决方案相关的既往研究。
• 第三章详述实验设置。该设置包括用于飞行模拟与深度强化学习模型之间通信的软件框架。此外，还详细解释了模拟及学习过程中所用无人机的技术细节。同时，也介绍了深度强化学习模型中使用的无人机检测模型。详细说明了无人机检测模型，以及在检测模型训练和测试过程中使用的自动标注图像。还介绍了无人机检测模型与深度强化学习主程序之间的通信。
• 第四章提出深度强化学习模型，使无人机能在环境中导航，避免与任何静态和非静态障碍物相撞。
• 第五章提出用于在二维空间反制无人机的深度强化学习模型。本章介绍了深度强化学习模型的神经网络细节、智能体动作、智能体状态和奖励函数。
• 第六章介绍用于在具有挑战性的三维空间反制无人机的深度强化学习模型。除了深度强化学习模型的细节外，还讨论了不同场景的分析，以呈现深度强化学习方法的可解释性。
• 第七章分析了人类飞行员、直接解决方法以及第五、六章提出的深度强化学习方法的性能。
• 第八章给出本论文的结论。讨论了论文撰写期间所完成工作的成果，并对潜在的未来工作进行了详细描述。