In recent years, Rectified flow (RF) has gained considerable popularity largely due to its generation efficiency and state-of-the-art performance. In this paper, we investigate the degree to which RF automatically adapts to the intrinsic low dimensionality of the support of the target distribution to accelerate sampling. We show that, using a carefully designed choice of the time-discretization scheme and with sufficiently accurate drift estimates, the RF sampler enjoys an iteration complexity of order $O(k/\varepsilon)$ (up to log factors), where $\varepsilon$ is the precision in total variation distance and $k$ is the intrinsic dimension of the target distribution. In addition, we show that the denoising diffusion probabilistic model (DDPM) procedure is equivalent to a stochastic version of RF by establishing a novel connection between these processes and stochastic localization. Building on this connection, we further design a stochastic RF sampler that also adapts to the low-dimensionality of the target distribution under milder requirements on the accuracy of the drift estimates, and also with a specific time schedule. We illustrate with simulations on the synthetic data and text-to-image data experiments the improved performance of the proposed samplers implementing the newly designed time-discretization schedules.


翻译:近年来,整流流因其生成效率与最先进的性能而广受关注。本文研究了整流流在何种程度上能自动适应目标分布支撑集的本质低维特性以加速采样。我们证明,通过精心设计的时间离散化方案与足够精确的漂移估计,整流流采样器可实现阶数为 $O(k/\varepsilon)$(忽略对数因子)的迭代复杂度,其中 $\varepsilon$ 为总变差距离精度,$k$ 为目标分布的本质维度。此外,通过建立去噪扩散概率模型过程与随机局部化之间的新联系,我们证明该过程等价于整流流的随机化版本。基于此关联,我们进一步设计了一种随机整流流采样器,该采样器在漂移估计精度要求更宽松的条件下,配合特定的时间调度方案,同样能适应目标分布的低维特性。通过合成数据与文生图数据实验的模拟,我们验证了采用新设计的时间离散化方案的采样器在性能上的提升。

0
下载
关闭预览

相关内容

设计是对现有状的一种重新认识和打破重组的过程,设计让一切变得更美。
【博士论文】迈向可扩展、灵活的点云场景流
专知会员服务
14+阅读 · 2025年3月21日
低层视觉中的扩散模型:综述
专知会员服务
22+阅读 · 2024年6月18日
【2023新书】光滑流形上的优化引论,368页pdf
专知会员服务
56+阅读 · 2023年8月7日
几何观点下的深度学习
专知会员服务
35+阅读 · 2022年12月13日
【博士论文】集群系统中的网络流调度
专知会员服务
46+阅读 · 2021年12月7日
【Yoshua Bengio最新一作论文】GFlowNet基础,GFlowNet Foundations
专知会员服务
26+阅读 · 2021年11月22日
Normalizing Flows入门(上)
AINLP
10+阅读 · 2020年8月1日
【资源】领域自适应相关论文、代码分享
专知
32+阅读 · 2019年10月12日
迁移自适应学习最新综述,附21页论文下载
领域自适应学习论文大列表
专知
71+阅读 · 2019年3月2日
简述多种降维算法
算法与数学之美
11+阅读 · 2018年9月23日
极市分享|王晋东 迁移学习中的领域自适应方法
极市平台
10+阅读 · 2017年12月11日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关VIP内容
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员