Inversion-based image editing offers flexible and training-free control but still struggles with inversion accuracy and the trade-off between editing fidelity and background preservation. While recent methods improve inversion formulations or attention interactions, the role of textual conditioning in shaping diffusion dynamics and editing behavior remains underexplored. We show both empirically and theoretically that the precision of textual conditioning influences inversion stability by modulating the geometry of the diffusion velocity field, while also affecting the consistency of cross-branch attention during editing. These effects directly impact background preservation and semantic fidelity. Building on this analysis, we propose SimEdit, a conditioning-aware framework with two complementary components: (a) conditioning refinement, which constructs conditioning signals with improved semantic precision and structural alignment to facilitate stable inversion and consistent attention manipulation, and (b) token-wise cross-branch attention control, which separates edit-relevant and structure-preserving components and modulates them asymmetrically during attention manipulation. Extensive experiments on PIE-Bench demonstrate that SimEdit consistently improves both inversion reconstruction quality and editing performance over previous attention-manipulation approaches. Our code is available at https://github.com/zju-pi/SimEdit.


翻译:基于反演的图像编辑提供了灵活且无需训练的控制,但仍面临反演精度以及编辑保真度与背景保持之间的权衡难题。尽管近期方法改进了反演公式或注意力交互,但文本条件化在塑造扩散动态和编辑行为中的作用仍未得到充分探索。我们从经验和理论上证明,文本条件化的精度通过调节扩散速度场的几何结构影响反演稳定性,同时也会影响编辑过程中跨分支注意力的一致性。这些效应直接作用于背景保持和语义保真度。基于此分析,我们提出SimEdit——一种条件化感知框架,包含两个互补组件:(a) 条件化精炼,通过构建具有更高语义精度和结构对齐的条件信号,促进稳定反演和一致的注意力操控;(b) 逐词元跨分支注意力控制,将编辑相关成分与结构保持成分分离,并在注意力操控过程中对其进行非对称调制。在PIE-Bench上的大量实验表明,与先前基于注意力操控的方法相比,SimEdit持续提升了反演重建质量和编辑性能。我们的代码已开源至https://github.com/zju-pi/SimEdit。

0
下载
关闭预览

相关内容

《基于扩散模型的条件图像生成》综述
专知会员服务
44+阅读 · 2024年10月1日
《扩散模型图像编辑》综述
专知会员服务
28+阅读 · 2024年2月28日
深度学习的下一步:Transformer和注意力机制
云头条
56+阅读 · 2019年9月14日
论文浅尝 | 采用多层注意力机制的事件检测
开放知识图谱
24+阅读 · 2019年8月24日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
致命七类无人机:无人机时代的演进型合成兵种
《异构无人水面艇集群作战自主制导算法》130页
《人工智能能通过美国陆军战争学院吗?》报告
军事域人工智能驱动系统的治理
专知会员服务
4+阅读 · 9月14日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员