基于扩散的图像合成已成为基于人工智能的目标检测与分类任务中一个有前景的合成训练数据来源。在这项工作中，研究了利用扩散模型生成的图像是否能在低数据条件下改善军用车辆检测。使用LoRA对文生图扩散模型FLUX.1 [dev]进行了微调，每个车辆类别仅使用8张或24张真实图像，覆盖15个车辆类别，从而得到类别专用的扩散模型。这些模型被用来根据自动生成的文本提示生成新样本。相同的真实图像被用于微调RF-DETR检测器，以执行15类目标检测任务。随后，利用扩散模型生成的合成数据集来进一步提升检测器性能。重要的是，这不需要额外的真实数据，因为生成模型利用了同样有限训练样本。FLUX生成的图像提升了检测性能，尤其是在低数据条件下（使用8个真实样本时，mAP50最高提升+8.0%）。为了解决基于文本提示的扩散模型在几何控制上的局限性，额外使用了结合Canny边缘图条件的ControlNet来生成具有结构引导的合成数据，从而得到一个能够明确控制视角和姿态的FLUX-ControlNet（FLUX-CN）数据集。当数据稀缺时，结构引导能进一步提升性能（使用8个真实样本时，mAP50提升+4.1%），但当有更多真实数据可用时，则未观察到额外收益。这项研究表明，针对特定目标的扩散模型可有效改善低数据领域的军事目标检测，并且当真实数据极为有限时，结构引导最为有益。这些结果凸显了生成图像数据可作为训练军事人工智能系统时传统仿真流程的一种替代方案。

图1：使用扩散模型和图文对进行图像合成的基础工作流程。VLM = 视觉语言模型，LLM = 大语言模型，FLUX = 文生图扩散模型。