现代战争日益复杂，亟需先进的人工智能决策支持以验证作战计划。本文提出一种集成于ReLeGSim环境的多智能体强化学习框架，旨在动态条件下严格测试军事策略。采用深度强化学习使智能体能在作战计划中学习最优行为，使其转变为“智能执行者”。通过观察这些智能体，可识别计划内的薄弱环节。核心创新包括：(1) 结合行动掩码（确保严格遵循作战计划）与交错行为克隆（内嵌军事准则）的混合方法；(2) 使智能体先学习基础战术再评估预设计划的序贯训练策略；(3) 利用热力图与关键绩效指标进行数据挖掘，可视化战略弱点。实验表明，在约束执行方面，硬行动掩码优于奖励塑形。本研究通过有效整合领域知识，推进了可扩展、稳健的人工智能驱动作战计划验证。

未来战争形态在数字化、人工智能赋能指挥控制系统及自主平台日益广泛应用的驱动下快速发展。这些进步正在加速作战节奏，加剧军事决策者的时间压力。作为回应，辅以先进人工智能技术的建模与仿真，正成为下一代决策支持系统的重要组成部分。此类系统有望增强态势理解、威胁评估与行动方案分析能力。

近期人工智能研究的进展，例如DeepMind的AlphaGo（Silver等人，2016年）与AlphaStar（Vinyals等人，2019年）在复杂游戏《星际争霸II》中的成就，展示了深度强化学习在训练智能体制定卓越策略方面的潜力。与传统强化学习常受限于可扩展性及庞大输入空间的复杂性不同，深度强化学习利用深度神经网络从原始输入数据中自动学习并优化复杂表征（Mnih等人，2015年）。此能力使深度强化学习能更有效地处理高维连续状态空间，尤其适用于解决军事战略与作战中遇到的复杂问题。重要的是，相较于传统的基于规则的实现方式，深度强化学习还能为执行作战约束提供更灵活、自适应的途径。传统仿真常将行为硬编码——限制了灵活性与适应性，而我们的方法采用硬行动掩码确保智能体遵守作战计划，同时保持其学习与发现新颖有效战术的能力。

本文研究了将这些技术应用于军事规划一个关键环节：作战计划验证。具体而言，我们探索了如何训练深度强化学习智能体，使其在对抗严格遵循作战计划的对手时，扮演作战计划的“智能执行者”。此方法已被证明能在作战计划于实际场景中部署前，对其进行严格测试并识别潜在弱点。我们工作的核心围绕一个专为营级军事对抗设计的仿真环境ReLeGSim（聚焦强化学习的通用人工智能训练仿真环境；Doll等人，2021年）。在ReLeGSim中，深度强化学习智能体可接收指令以控制可用单位/连队或请求火力支援，同时仿真环境提供“奖励”反馈，通过迭代训练评估和改进智能体行为。这实现了超越传统桌面推演或兵棋推演的、动态演进的计划可行性评估。

传统上，验证作战计划依赖于人工分析、专家判断及有限的模拟。这些方法通常耗时、资源密集且易受人为偏见影响。此外，它们难以预见执行过程中可能出现的意外后果或涌现行为。使用人工智能智能体为这些局限提供了引人注目的解决方案，提供了一种可扩展、客观的方法，可在广泛条件下对作战计划进行压力测试。我们的研究基于此前提，不仅探索了训练此类智能体的技术可行性，还研究了奖励函数设计的关键作用，以及将领域特定知识（以既定军事原则为代表）整合到学习过程中的重要性。

本研究探究的一个关键挑战是如何将既定的军事准则（如机动战原则——保护侧翼、协同火力与机动、建立预备队、利用地形等）有效融入强化学习训练过程。初步尝试严格遵循指挥结构的层次化强化学习方法被证明较为困难，因下级单位难以平衡服从上级命令与优化自身战术态势。我们转而采用了序贯方法：首先训练智能体在没有预设计划的情况下达成任务目标，然后利用由此产生的行为（通过揭示首选攻击路径和冲突区域的热力图识别）来指导创建潜在有效的作战计划。这种规划与执行的分离允许进行更细致的评估，使人工智能能够客观评估给定计划的内在优势与弱点。

此外，解决了加速强化学习训练过程的关键问题。认识到传统方法可能计算成本高昂，我们探索了利用云计算资源及采用监督学习方法（特别是交错在线行为克隆）等技术。交错在线行为克隆利用基于规则的智能体（体现既定军事战术）向强化学习智能体示范期望行为，有效加速学习进程并提升性能，尤其在训练早期阶段。这种混合方法结合了强化学习的适应性与专家知识的可靠性（Möbius等人，2024年）。最后，我们强调了对此类人工智能驱动系统进行验证与确认的重要性，承认了其随机性带来的独特挑战以及严格测试分析的必要性。

本文详述了人工智能驱动决策支持框架的架构、采用的实验方法及关键发现。旨在展示在现实仿真环境中训练的人工智能智能体的潜力，即通过提供偏见更小、更全面的作战计划验证能力，显著增强作战计划的稳健性与有效性。