根据无人机技术的快速发展，无人机被广泛应用于包括军事领域在内的许多应用领域。在本文中，一种新颖的基于DRL的自主非线性无人机机动性控制算法在网络物理游荡弹药中的应用。在战场上，基于DRL的自主控制算法的设计并不直接，因为现实世界的数据收集一般是不可用的。因此，本文的方法是：用Unity环境构建网络物理虚拟环境。基于虚拟的网络物理战场场景，可以设计、评估和可视化一个基于DRL的自动化非线性无人机移动控制算法。此外，许多障碍物的存在对真实世界战场场景中的线性轨迹控制是有害的。因此，我们提出的自主非线性无人机移动控制算法利用了形势感知组件，这些组件在Unity虚拟场景中用Raycast函数实现。基于收集到的情况感知信息，无人机可以在飞行过程中自主地、非线性地调整其轨迹。因此，这种方法显然有利于在有障碍物部署的战场上避开障碍物。我们基于可视化的性能评估表明，所提出的算法优于其他线性移动控制算法。