We address the problem of sampling from terminally constrained distributions with pre-trained flow-based generative models through an optimal control formulation. Theoretically, we characterize the value function by a Hamilton-Jacobi-Bellman equation and derive the optimal feedback control as the minimizer of the associated Hamiltonian. We show that as the control penalty increases, the controlled process recovers the reference distribution, while as the penalty vanishes, the terminal law converges to a generalized Wasserstein projection onto the constraint manifold. Algorithmically, we introduce Terminal Optimal Control with Flow-based models (TOCFlow), a geometry-aware sampling-time guidance method for pre-trained flows. Solving the control problem in a terminal co-moving frame that tracks reference trajectories yields a closed-form scalar damping factor along the Riemannian gradient, capturing second-order curvature effects without matrix inversions. TOCFlow therefore matches the geometric consistency of Gauss-Newton updates at the computational cost of standard gradient guidance. We evaluate TOCFlow on three high-dimensional scientific tasks spanning equality, inequality, and global statistical constraints, namely Darcy flow, constrained trajectory planning, and turbulence snapshot generation with Kolmogorov spectral scaling. Across all settings, TOCFlow improves constraint satisfaction over Euclidean guidance and projection baselines while preserving the reference model's generative quality.


翻译:本文通过最优控制框架解决了利用预训练流生成模型从终端约束分布中采样的问题。理论上,我们通过Hamilton-Jacobi-Bellman方程刻画值函数特性,并推导出最优反馈控制作为相应哈密顿量的最小化解。研究表明:当控制惩罚增大时,受控过程恢复至参考分布;当惩罚趋零时,终端分布收敛至约束流形上的广义Wasserstein投影。算法层面,我们提出基于流模型的终端最优控制方法(TOCFlow),这是一种面向预训练流模型的几何感知采样时间引导方法。通过在跟踪参考轨迹的终端共动坐标系中求解控制问题,我们沿黎曼梯度方向得到了闭式标量阻尼因子,该因子能够捕捉二阶曲率效应且无需矩阵求逆运算。因此TOCFlow在保持标准梯度引导计算成本的同时,实现了与高斯-牛顿更新相当的几何一致性。我们在三个涉及等式约束、不等式约束及全局统计约束的高维科学任务上评估TOCFlow性能,包括达西流动、约束轨迹规划以及满足柯尔莫哥洛夫谱标度的湍流快照生成。在所有实验场景中,TOCFlow在保持参考模型生成质量的同时,相较于欧几里得引导和投影基线方法均显著提升了约束满足度。

0
下载
关闭预览

相关内容

《导弹规避的优化控制方法》200页论文
专知会员服务
58+阅读 · 2023年12月25日
基于强化学习的最优控制指令模仿生成方法
专知会员服务
33+阅读 · 2023年12月2日
【伯克利马毅老师】强化学习与最优控制综述
专知会员服务
78+阅读 · 2022年4月26日
【CMU】深度学习模型中集成优化、约束和控制,33页ppt
专知会员服务
46+阅读 · 2020年5月23日
机器学习中的最优化算法总结
人工智能前沿讲习班
22+阅读 · 2019年3月22日
【学科发展报告】自适应动态规划
中国自动化学会
25+阅读 · 2018年9月14日
TensorFlow seq2seq中的Attention机制(续)
深度学习每日摘要
15+阅读 · 2017年11月16日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员