Recent advances in image editing leverage latent diffusion models (LDMs) for versatile, text-prompt-driven edits across diverse tasks. Yet, maintaining pixel-level edge structures-crucial for tasks such as photorealistic style transfer or image tone adjustment-remains as a challenge for latent-diffusion-based editing. To overcome this limitation, we propose a novel Structure Preservation Loss (SPL) that leverages local linear models to quantify structural differences between input and edited images. Our training-free approach integrates SPL directly into the diffusion model's generative process to ensure structural fidelity. This core mechanism is complemented by a post-processing step to mitigate LDM decoding distortions, a masking strategy for precise edit localization, and a color preservation loss to preserve hues in unedited areas. Experiments confirm SPL enhances structural fidelity, delivering state-of-the-art performance in latent-diffusion-based image editing. Our code will be publicly released at https://github.com/gongms00/SPL.


翻译:近年来,图像编辑领域利用潜在扩散模型(LDMs)实现了跨多种任务的、由文本提示驱动的多功能编辑。然而,对于基于潜在扩散的编辑方法而言,保持像素级的边缘结构——这对于诸如照片级真实感风格迁移或图像色调调整等任务至关重要——仍然是一个挑战。为克服这一限制,我们提出了一种新颖的结构保持损失(SPL),该损失利用局部线性模型来量化输入图像与编辑后图像之间的结构差异。我们的免训练方法将SPL直接集成到扩散模型的生成过程中,以确保结构保真度。这一核心机制辅以一个后处理步骤以减轻LDM解码失真、一种用于精确定位编辑区域的掩码策略,以及一个用于保留未编辑区域色调的颜色保持损失。实验证实SPL增强了结构保真度,在基于潜在扩散的图像编辑中实现了最先进的性能。我们的代码将在 https://github.com/gongms00/SPL 公开。

0
下载
关闭预览

相关内容

面向低光照图像增强的扩散模型
专知会员服务
15+阅读 · 2025年10月11日
高效扩散模型综述
专知会员服务
34+阅读 · 2025年2月1日
低层视觉中的扩散模型:综述
专知会员服务
22+阅读 · 2024年6月18日
《扩散模型图像编辑》综述
专知会员服务
28+阅读 · 2024年2月28日
扩散模型图像超分辨率等综述
专知会员服务
25+阅读 · 2024年1月2日
【AAAI2023】用于复杂场景图像合成的特征金字塔扩散模型
视觉的有效扩散模型综述
专知会员服务
97+阅读 · 2022年10月20日
基于关系网络的视觉建模:有望替代卷积神经网络
微软研究院AI头条
10+阅读 · 2019年7月12日
【边缘计算】边缘计算面临的问题
产业智能官
17+阅读 · 2019年5月31日
如何设计基于深度学习的图像压缩算法
论智
41+阅读 · 2018年4月26日
边缘计算应用:传感数据异常实时检测算法
计算机研究与发展
11+阅读 · 2018年4月10日
实战|手把手教你实现图象边缘检测!
全球人工智能
10+阅读 · 2018年1月19日
图像降噪算法介绍及实现汇总
极市平台
26+阅读 · 2018年1月3日
边缘计算:万物互联时代新型计算模型
计算机研究与发展
15+阅读 · 2017年5月19日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
VIP会员
最新内容
大语言模型平台在国防情报应用中的对比
专知会员服务
3+阅读 · 今天3:12
美海军“超配项目”
专知会员服务
4+阅读 · 今天2:13
《美陆军条例:陆军指挥政策(2026版)》
专知会员服务
10+阅读 · 4月21日
《军用自主人工智能系统的治理与安全》
专知会员服务
7+阅读 · 4月21日
《系统簇式多域作战规划范畴论框架》
专知会员服务
10+阅读 · 4月20日
相关VIP内容
面向低光照图像增强的扩散模型
专知会员服务
15+阅读 · 2025年10月11日
高效扩散模型综述
专知会员服务
34+阅读 · 2025年2月1日
低层视觉中的扩散模型:综述
专知会员服务
22+阅读 · 2024年6月18日
《扩散模型图像编辑》综述
专知会员服务
28+阅读 · 2024年2月28日
扩散模型图像超分辨率等综述
专知会员服务
25+阅读 · 2024年1月2日
【AAAI2023】用于复杂场景图像合成的特征金字塔扩散模型
视觉的有效扩散模型综述
专知会员服务
97+阅读 · 2022年10月20日
相关资讯
基于关系网络的视觉建模:有望替代卷积神经网络
微软研究院AI头条
10+阅读 · 2019年7月12日
【边缘计算】边缘计算面临的问题
产业智能官
17+阅读 · 2019年5月31日
如何设计基于深度学习的图像压缩算法
论智
41+阅读 · 2018年4月26日
边缘计算应用:传感数据异常实时检测算法
计算机研究与发展
11+阅读 · 2018年4月10日
实战|手把手教你实现图象边缘检测!
全球人工智能
10+阅读 · 2018年1月19日
图像降噪算法介绍及实现汇总
极市平台
26+阅读 · 2018年1月3日
边缘计算:万物互联时代新型计算模型
计算机研究与发展
15+阅读 · 2017年5月19日
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员