High-precision controllable remote sensing image generation is both meaningful and challenging. Existing diffusion models often produce low-fidelity images due to their inability to adequately capture morphological details, which may affect the robustness and reliability of object detection models. To enhance the accuracy and fidelity of generated objects in remote sensing, this paper proposes Object Fidelity Diffusion (OF-Diff), which effectively improves the fidelity of generated objects. Specifically, we are the first to extract the prior shapes of objects based on the layout for diffusion models in remote sensing. Then, we introduce a dual-branch diffusion model with diffusion consistency loss, which can generate high-fidelity remote sensing images without providing real images during the sampling phase. Furthermore, we introduce DDPO to fine-tune the diffusion process, making the generated remote sensing images more diverse and semantically consistent. Comprehensive experiments demonstrate that OF-Diff outperforms state-of-the-art methods in the remote sensing across key quality metrics. Notably, the performance of several polymorphic and small object classes shows significant improvement. For instance, the mAP increases by 8.3%, 7.7%, and 4.0% for airplanes, ships, and vehicles, respectively.


翻译:高精度可控遥感图像生成兼具重要意义与挑战性。现有扩散模型常因难以充分捕捉形态细节而生成低保真度图像,可能影响目标检测模型的鲁棒性与可靠性。为提升遥感场景中生成目标的精确度与保真度,本文提出目标保真扩散方法(OF-Diff),能有效提升生成目标的保真度。具体而言,我们首次基于布局信息为遥感扩散模型提取目标先验形状。随后,我们引入具有扩散一致性损失的双分支扩散模型,该模型可在采样阶段不提供真实图像的情况下生成高保真遥感图像。此外,我们采用DDPO对扩散过程进行微调,使生成的遥感图像更具多样性且保持语义一致性。综合实验表明,OF-Diff在遥感领域的关键质量指标上均优于现有先进方法。值得注意的是,多类多形态及小尺度目标类别的性能均呈现显著提升。例如,在飞机、船舶和车辆类别上,mAP指标分别提升了8.3%、7.7%和4.0%。

0
下载
关闭预览

相关内容

基于扩散模型和流模型的推理时引导生成技术
专知会员服务
16+阅读 · 2025年4月30日
面向图像处理逆问题的扩散模型研究综述
专知会员服务
15+阅读 · 2025年4月23日
生成扩散模型研究综述
专知会员服务
37+阅读 · 2024年12月19日
《基于扩散模型的条件图像生成》综述
专知会员服务
44+阅读 · 2024年10月1日
光学遥感图像目标检测数据集综述
专知会员服务
31+阅读 · 2024年3月29日
遥感影像小目标检测研究进展
专知会员服务
54+阅读 · 2023年3月17日
专知会员服务
75+阅读 · 2021年3月23日
编辑推荐 | 红外弱小目标检测算法综述
中国图象图形学报
21+阅读 · 2020年10月12日
专家报告|高光谱遥感信息提取方法
中国图象图形学报
12+阅读 · 2019年7月14日
基于深度学习的目标检测算法剖析与实现【附PPT与视频资料】
人工智能前沿讲习班
12+阅读 · 2018年12月25日
【学界】基于条件深度卷积生成对抗网络的图像识别方法
GAN生成式对抗网络
16+阅读 · 2018年7月26日
深度学习时代的目标检测算法
炼数成金订阅号
40+阅读 · 2018年3月19日
国家自然科学基金
1+阅读 · 2016年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关VIP内容
基于扩散模型和流模型的推理时引导生成技术
专知会员服务
16+阅读 · 2025年4月30日
面向图像处理逆问题的扩散模型研究综述
专知会员服务
15+阅读 · 2025年4月23日
生成扩散模型研究综述
专知会员服务
37+阅读 · 2024年12月19日
《基于扩散模型的条件图像生成》综述
专知会员服务
44+阅读 · 2024年10月1日
光学遥感图像目标检测数据集综述
专知会员服务
31+阅读 · 2024年3月29日
遥感影像小目标检测研究进展
专知会员服务
54+阅读 · 2023年3月17日
专知会员服务
75+阅读 · 2021年3月23日
相关基金
国家自然科学基金
1+阅读 · 2016年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员