本文探讨了深度强化学习在发展自主兵棋推演智能体方面的潜力。讨论了兵棋推演环境对于学习系统设计的相关特性，以及学习框架和算法的选择。尽管深度强化学习已被证明能在多种游戏中达到超人类水平，但这些发现只能部分转化到实用兵棋推演中。这是由于现实世界的限制，如财务和数据资源的可用性，以及兵棋推演领域可能难以满足的架构系统要求。现代战争仿真环境的高度真实性往往伴随着系统延迟，这会导致不切实际的训练时长。为了进行实证分析，将多种深度强化学习技术适配到流行的“指挥：现代作战”仿真环境中，为此环境中的深度强化学习训练应用提供了概念验证。

在国防建模与仿真领域，兵棋推演是一种被广泛接受的、用于作战规划、人员训练、装备采办等方面的技术。兵棋推演提供了“安全失败”的环境来探索防御场景，并识别哪些行动方案会导致胜利/成功，哪些会导致失败，其成本通常低于现实世界中的考察。然而，传统的兵棋推演，即军事规划人员与人类对手（所谓的“红方”操作员）对抗，面临着重要局限。追踪因果关系具有挑战性，结果往往依赖于人类专家的主观评估。红方对既定战术和程序的典型依赖，会迅速导致行动方案过度受限。探索更广泛的行动方案受到财务和人力资源可用性的双重限制。在现实世界场景和复杂仿真（特点是连续的空间与时间坐标、巨大的分支因子、高系统延迟、地理分布的计算等特性）中，相对较少数量的被探索行动方案，为整体存在偏见和脆弱的决策留下了缺口。

近年来，自动化技术，特别是分布式交互仿真，以及人工智能的集成，显著增强了兵棋推演的能力，支持实时决策、探索更多样化和自适应的场景，以及整合分散计算资源。在这些技术中，深度强化学习展现了最有前景的结果。这些人工智能增强的方法拓宽了兵棋推演的战略范围，使得在从网络防御到国际关系等领域能够进行更复杂和自适应的场景分析。

在防御仿真中日益普及的工具之一是“指挥：现代作战”，这是一个具备专业级能力的商用现役兵棋推演平台。“指挥：现代作战”是一款战争视频游戏，玩家在其中扮演各种冲突场景中的任务指挥官。该平台提供全球卫星地图、广泛的军事资产、高保真的物理动力学和逼真的传感器建模。其专业版包含专门为满足防务机构作战与分析需求而设计的先进功能，包括使用真实世界参数配置军事资产的能力、用于战斗场景统计分析的蒙特卡洛仿真引擎，以及一个提供直接访问游戏内部状态的应用程序编程接口。总之，“指挥：现代作战”的高度真实性使其成为可靠场景分析和兵棋推演的自然选择。图1展示了“指挥：现代作战”中的一个兵棋推演场景示例。

图1 在“指挥：现代作战”中模拟的兵棋推演场景。

目标包括评估在“指挥：现代作战”背景下应用深度强化学习的可行性，分析和发现利用现有能力改善作战结果的战术，以及应用新能力来确定采办优先级。此项工作源于瑞士人工智能研究所与瑞士国防部技术中心之间的合作。

本文组织结构如下：第II节回顾了当前关于深度强化学习应用于兵棋推演的文献。第III节从深度强化学习的应用角度描述了兵棋推演的主要阻碍因素。第IV节讨论了在兵棋推演情况下定义有效深度强化学习算法的设计选择。第V节介绍了仿真软件“指挥：现代作战”，以及为实现的一个更轻量级的替代方案。第VI节，将研究发现应用于“指挥：现代作战”和该轻量级替代方案中的简单兵棋推演场景。报告了不同强化学习方案在“指挥：现代作战”和该轻量级替代方案中的训练性能。结论与展望在第VII节。在附录中，汇集了关于传统搜索算法、强化学习和深度强化学习的背景概念，并讨论了如何为给定的兵棋推演选择最合适的强化学习算法。