Rectified flow models have achieved remarkable performance in image and video generation tasks. However, existing numerical solvers face a trade-off between fast sampling and high accuracy solutions, limiting their effectiveness in downstream applications such as reconstruction and editing. To address this challenge, we propose leveraging the Adams Bashforth Moulton (ABM) predictor corrector method to enhance the accuracy of ODE solving in rectified flow models. Specifically, we introduce ABM Solver, which integrates a multi step predictor corrector approach to reduce local truncation errors and employs Adaptive Step Size Adjustment to improve sampling speed. Furthermore, to effectively preserve non edited regions while facilitating semantic modifications, we introduce a Mask Guided Feature Injection module. We estimate self-similarity to generate a spatial mask that differentiates preserved regions from those available for editing. Extensive experiments on multiple high resolution image datasets validate that ABM Solver significantly improves inversion precision and editing quality, outperforming existing solvers without requiring additional training or optimization.


翻译:整流流模型在图像和视频生成任务中已取得显著性能。然而,现有数值求解器在快速采样与高精度解之间面临权衡,限制了其在重建与编辑等下游应用中的有效性。为应对这一挑战,我们提出利用Adams Bashforth Moulton(ABM)预测-校正方法来提升整流流模型中常微分方程求解的精度。具体而言,我们引入ABM求解器,该方法集成多步预测-校正策略以减少局部截断误差,并采用自适应步长调整机制以提高采样速度。此外,为在促进语义修改的同时有效保留未编辑区域,我们引入了掩码引导特征注入模块。我们通过估计自相似性来生成空间掩码,以区分待保留区域与可供编辑的区域。在多个高分辨率图像数据集上的大量实验验证表明,ABM求解器显著提升了反演精度与编辑质量,其性能优于现有求解器且无需额外训练或优化。

0
下载
关闭预览

相关内容

Normalizing Flows入门(上)
AINLP
10+阅读 · 2020年8月1日
8月最新-《可解释机器学习-Christoph Molnar》-新书分享
深度学习与NLP
10+阅读 · 2019年8月12日
国家自然科学基金
8+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
8+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员