Flow-based generative models provide strong unconditional priors for inverse problems, but guiding their dynamics for conditional generation remains challenging. Recent work casts training-free conditional generation in flow models as an optimal control problem; however, solving the resulting trajectory optimisation is computationally and memory intensive, requiring differentiation through the flow dynamics or adjoint solves. We propose MPC-Flow, a model predictive control framework that formulates inverse problem solving with flow-based generative models as a sequence of control sub-problems, enabling practical optimal control-based guidance at inference time. We provide theoretical guarantees linking MPC-Flow to the underlying optimal control objective and show how different algorithmic choices yield a spectrum of guidance algorithms, including regimes that avoid backpropagation through the generative model trajectory. We evaluate MPC-Flow on benchmark image restoration tasks, spanning linear and non-linear settings such as in-painting, deblurring, and super-resolution, and demonstrate strong performance and scalability to massive state-of-the-art architectures via training-free guidance of FLUX.2 (32B) in a quantised setting on consumer hardware.


翻译:流式生成模型为逆问题提供了强大的无条件先验,但如何引导其动态过程实现条件生成仍具挑战性。近期研究将流模型中的免训练条件生成问题转化为最优控制问题,然而求解所得轨迹优化需要沿流动态进行微分或伴随求解,计算和内存开销巨大。本文提出MPC-Flow——一种模型预测控制框架,将基于流生成模型的逆问题求解构建为一系列控制子问题,从而在推理阶段实现实用的最优控制引导。我们建立了MPC-Flow与底层最优控制目标的理论关联性,并展示了不同算法选择如何形成连续的引导算法谱系,包括避免沿生成模型轨迹反向传播的机制。通过在图像修复基准任务(涵盖线性和非线性场景,如图像补全、去模糊和超分辨率)上的评估,我们验证了MPC-Flow的优异性能与可扩展性:在消费级硬件量化环境下,成功实现了对FLUX.2(320亿参数)的免训练引导。

0
下载
关闭预览

相关内容

面向图像处理逆问题的扩散模型研究综述
专知会员服务
15+阅读 · 2025年4月23日
基于模型的强化学习综述
专知
42+阅读 · 2022年7月13日
基于逆强化学习的示教学习方法综述
计算机研究与发展
16+阅读 · 2019年2月25日
自然语言处理中的语言模型预训练方法
PaperWeekly
14+阅读 · 2018年10月21日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关VIP内容
面向图像处理逆问题的扩散模型研究综述
专知会员服务
15+阅读 · 2025年4月23日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员