人工智能在作战中正变得日益重要。新兴技术使得利用人工智能控制飞行器与武器系统成为可能。本研究探讨了通过近端策略优化算法，将强化学习应用于二对二超视距空战机动问题。该研究在高级仿真、集成与建模框架中实现，其方法将交战建模为一个马尔可夫决策过程，其中自主强化学习智能体在合作通信方案下学习连续控制决策——油门、俯仰、横滚与偏航。一种多阶段的课程学习方法促进了智能体逐步掌握飞行稳定性、武器运用与空战战术。通过超参数调优与奖励塑形，近端策略优化智能体展现出平衡进攻性导弹使用与规避机动的新兴能力。研究结果凸显了该算法在空中交战中演化出智能、自适应行为的潜力，为改进战术模拟和未来作战航空强化学习研究提供了途径。

本研究的目的并非开发一种能在模拟中（或现实中）完美驾驶自主无人作战飞行器的算法。相反，本研究更大的目标是提供一种对自主飞行行为的真实表征，以便在以模型作为预期飞行行为基础来模拟新武器系统时，能够实现更高的仿真逼真度。本研究通过优化近端策略优化超参数来评估其在空战情境中的探索-利用权衡，以此来完成此任务。因此，本工作也希望能深入探究不同近端策略优化超参数对二对二超视距空战机动问题的影响。本研究的剩余部分结构如下：第二章回顾了关于超视距空战机动问题的现有文献；第三章讨论了运用于二对二超视距空战机动问题的近端策略优化方法并解释模型；第四章展示了利用模型所得出的结果与分析；第五章概述了未来研究的潜在方向并提出了本研究的结论。