Inversion-free image editing using flow-based generative models challenges the prevailing inversion-based pipelines. However, existing approaches rely on fixed Gaussian noise to construct the source trajectory, leading to biased trajectory dynamics and causing structural degradation or quality loss. To address this, we introduce SNR-Edit, a training-free framework achieving faithful Latent Trajectory Correction via adaptive noise control. Mechanistically, SNR-Edit uses structure-aware noise rectification to inject segmentation constraints into the initial noise, anchoring the stochastic component of the source trajectory to the real image's implicit inversion position and reducing trajectory drift during source--target transport. This lightweight modification yields smoother latent trajectories and ensures high-fidelity structural preservation without requiring model tuning or inversion. Across SD3 and FLUX, evaluations on PIE-Bench and SNR-Bench show that SNR-Edit delivers performance on pixel-level metrics and VLM-based scoring, while adding only about 1s overhead per image.


翻译:利用基于流的生成模型进行免反演图像编辑,对当前主流的基于反演的流程提出了挑战。然而,现有方法依赖于固定的高斯噪声来构建源轨迹,这会导致轨迹动力学产生偏差,进而引发结构退化或质量损失。为解决此问题,我们提出了SNR-Edit,一个无需训练即可通过自适应噪声控制实现忠实潜在轨迹校正的框架。从机制上讲,SNR-Edit利用结构感知噪声校正,将分割约束注入到初始噪声中,从而将源轨迹的随机分量锚定到真实图像的隐式反演位置,并减少源-目标传输过程中的轨迹漂移。这种轻量级的修改能产生更平滑的潜在轨迹,并确保高保真的结构保持,而无需进行模型调优或反演。在SD3和FLUX模型上,基于PIE-Bench和SNR-Bench的评估表明,SNR-Edit在像素级指标和基于视觉语言模型的评分上均表现出色,同时每张图像仅增加约1秒的开销。

0
下载
关闭预览

相关内容

专知会员服务
43+阅读 · 2021年8月30日
最新《生成式对抗网络GAN逆转》综述论文,22页pdf
专知会员服务
40+阅读 · 2021年1月19日
CVPR 2018 论文解读 | 基于GAN和CNN的图像盲去噪
PaperWeekly
13+阅读 · 2019年1月22日
基于GAN的极限图像压缩框架
论智
12+阅读 · 2018年4月15日
图像降噪算法介绍及实现汇总
极市平台
26+阅读 · 2018年1月3日
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
3+阅读 · 2017年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
VIP会员
相关VIP内容
专知会员服务
43+阅读 · 2021年8月30日
最新《生成式对抗网络GAN逆转》综述论文,22页pdf
专知会员服务
40+阅读 · 2021年1月19日
相关基金
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
3+阅读 · 2017年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员