随着潜在对手持续提升其战斗机与武器装备性能，美军拟对战机更新战术以应对新形势。第四代战机以机动规避导弹作为核心生存手段，主要依赖“联合空对空模型”（JAAM）软件研拟战术。JAAM基于用户预设的武器使用方案与机动动作，运行确定性作战场景仿真。当前，各军种领域专家通过穷举式运行JAAM，测试不同场景并筛选理想战果。本研究引入强化学习算法以解决此痛点，在减轻繁复工作的同时，提升超视距（BVR）战术开发的创造性。通过为决策智能体构建价值函数，使其能够通过自主演练，独立习得最优达成目标的策略。对智能体的可选动作进行离散化处理，仅保留人类飞行员可执行的基础机动。本研究旨在构建一套战术快速迭代框架，使智能体能够针对当前及未来威胁，通过创造性探索与尝试新颖方法生成战术。最终，这将使领域专家摆脱耗费海量工时创新战术、继而反复运行JAAM验证的循环。

2024年，美海军、海军陆战队及空军正处于向第五代战机过渡的进程中；然而，现役主力机型（如F-15、F-16及F/A-18）仍以第四代战机为主。与此同时，对手持续提升其战机与空对空导弹性能。由于缺乏F-22与F-35的隐身优势，第四代机队必须革新战术以跟上新威胁步伐。若期望第四代战机在与强敌的空对空对抗中遂行任务，此变革势在必行。现行空战战术生成流程冗繁，既依赖人类针对特定机动动作的创造性构思，又需通过仿真穷举验证其有效性。部署适宜的强化学习算法可同时破解这两大难题。强化学习旨在回答“在特定态势下，应采取何种行动？”这一核心命题。该态势可简可繁，小至棋盘落子位置，大到即时战略游戏中操控数百作战单元。既往研究已证明，强化学习在击败围棋世界冠军及《星际争霸II》职业选手方面成效卓著。本研究采用名为“深度Q网络”（DQN）的特定强化学习算法，训练神经网络学习在给定状态下选择最优动作。依托多个开源工具包，构建了二维仿真环境，模拟起始距离40英里的单机对单机空中拦截场景。每个时间步长内，智能体仅可执行左转、右转或直线飞行三类基础动作。鉴于每时间步长为0.01分钟（0.6秒），这些基础动作可组合构成更复杂的战术机动。该模型不受限于90度或180度转弯等高级机动预设，能够自由探索新颖机动模式。此外，本研究纳入了导弹进入自主飞行状态前需获得载机支持的约束条件。

同时，探讨了飞行员对来袭导弹感知能力的不同假设。假定飞行员能准确判定导弹是否来袭，可将问题拆解为两个子问题。据此，分别构建杀伤效能与生存能力两个独立模型。通过分头训练再融合的方式，既可缩短训练周期，又能使最终模型具备发射并支持导弹至自主状态的能力，同时避免陷入无法生存的的危险境地。研究发现，DQN算法成功生成的空对空战术符合空战基本原理：模型能成功实施射击、侧向占位、支持导弹进入自主飞行状态，继而通过转向规避威胁导弹。强化学习展现出巨大潜力，可为舰队提供一种能基于当前威胁快速生成新战术的工具。将新型机器学习方法应用于此类复杂难题，契合美国国防部加速推进人工智能融入作战力量的战略意图。建议持续开展深入研究以彻底攻克此课题。后续工作需将模型集成至建模精度更高的高级仿真环境中。本研究的可行终局呈现广谱可能性：其一端可作为观察窗口，为现役武器学校教官提供待验证的新颖思路；另一端则可能发展为现有程序的插件，仅需极少人工干预即可生成全新战术。这种快速迭代能力能将战术开发人员直接推向飞行测试阶段，验证空中可重复性，并加速向舰队推广应用。