《军事目标检测的合成到真实域自适应研究》

目标检测是民用和军事应用领域关注的关键目标任务之一。特别是在军事指挥与侦察的决策过程中，目标检测方法的实际部署至关重要。然而，当前的域自适应目标检测算法通常只考虑在自然场景或自动驾驶场景范围内，将一个域适应到另一个相似域。由于军事领域常常涉及多种混合环境，从多个变化的目标域中检测目标构成了更大挑战。一些关于装甲军事目标检测的研究利用了合成孔径雷达数据，因其具有全天候、远距离和高分辨率的鲁棒特性。尽管如此，SAR数据的获取和处理成本仍然远高于传统的RGB相机，而后者是一种更经济实惠的替代方案，且数据处理时间显著更短。此外，军事目标检测数据集的缺乏限制了这种低成本方法的应用。为缓解这些问题，建议使用逼真视觉工具“虚幻引擎”生成基于RGB的合成数据，用于跨域环境下的军事目标检测。为此，通过在合成数据集上进行训练，并在从网络收集的真实军事目标数据集上进行验证，进行了合成到真实的迁移实验。在提出的训练-验证数据集对上，以监督程度为标准，对最先进的域适应方法进行了基准测试，发现当前使用图像上最小提示（例如，目标类别）的方法相比无监督或半监督域适应方法取得了显著改进。基于这些观察，认识到当前仍待克服的挑战。

深度学习技术引起了广泛关注，并在民用和军事应用中得到了大量应用，特别是在野外目标检测与跟踪方面，因为视觉辅助可以显著增强搜索和侦察能力。在现实世界中识别和定位装甲目标时，待发现的目标在颜色、尺寸、纹理和位置上往往多种多样，且军事装备部署的环境在气候特征（如天气、地形，以及是否存在用于隐蔽和伪装的周围物体）上也各不相同。此外，实时数据处理对于军事应用不可或缺，特别是由于部署中硬件资源有限，而处理过程本身已涉及大量参数和计算。

因此，许多基于视觉的系统通过整合处理后的合成孔径雷达数据作为一种工具，以较低的资源成本实现对目标物体的鲁棒检测，从而为满足这些需求提出了可行的解决方案。通过利用卫星发射的毫米波雷达散射，SAR数据在多个方面具有优势：精确和高分辨率的图像、可靠且全球覆盖的成像能力，以及精确的三维高程建模。然而，SAR数据也受限于卫星数据的有限获取、严格的数据处理以及多次雷达扫描的合成。此外，SAR模态以缺乏训练数据和难以确保其泛化能力而闻名，而这正是适应现实世界中多样化领域的关键。

针对这些限制，激光雷达和RGB数据模态减轻了数据处理负担。特别是在必须迅速执行命令和行动的军事应用中，RGB模态在此类跨域设置中，可作为装甲目标检测的合适数据格式。随着对使用RGB相机的域适应算法的兴趣日益增长，基于图像的装甲目标检测任务为实际的潜在军事应用场景奠定了基础。

鉴于此，建议构建一个基于RGB图像的合成数据集以及一个配对真实图像数据集，用于装甲目标检测，其遵循如图1所示的一般检测方法。在一个基于物理引擎的模拟器上构建合成数据集，该模拟器可生成适合军事环境（例如，原始森林、沙漠地貌）的逼真视觉效果。从模拟中捕获的图像包含属于代表性军事目标类别的资产，这些类别是根据互联网上真实数据集的可用性定义的。确保合成数据集和真实数据集的标签类别匹配，但域分布不同。虽然真实图像由于网络收集过程的性质，天然呈现多样化的外观，但它们在每个类别内也有很好的分布，例如，从上方俯视角度拍摄的坦克，或低分辨率的坦克特写镜头。基于这些特征，构建了一个具有挑战性的合成到真实图像数据集对，用于装甲军事目标检测，并验证了其对基于图像的域适应框架的适用性。

本文的主要贡献如下：