In recent years, Rectified flow (RF) has gained considerable popularity largely due to its generation efficiency and state-of-the-art performance. In this paper, we investigate the degree to which RF automatically adapts to the intrinsic low dimensionality of the support of the target distribution to accelerate sampling. We show that, using a carefully designed choice of the time-discretization scheme and with sufficiently accurate drift estimates, the RF sampler enjoys an iteration complexity of order $O(k/\varepsilon)$ (up to log factors), where $\varepsilon$ is the precision in total variation distance and $k$ is the intrinsic dimension of the target distribution. In addition, we show that the denoising diffusion probabilistic model (DDPM) procedure is equivalent to a stochastic version of RF by establishing a novel connection between these processes and stochastic localization. Building on this connection, we further design a stochastic RF sampler that also adapts to the low-dimensionality of the target distribution under milder requirements on the accuracy of the drift estimates, and also with a specific time schedule. We illustrate with simulations on the synthetic data and text-to-image data experiments the improved performance of the proposed samplers implementing the newly designed time-discretization schedules.


翻译:近年来,整流流因其生成效率与最先进的性能而广受欢迎。本文研究了整流流在多大程度上能自动适应目标分布支撑集的固有低维性以加速采样。我们证明,通过精心设计的时间离散化方案与足够精确的漂移估计,整流流采样器可实现$O(k/\varepsilon)$量级的迭代复杂度(忽略对数因子),其中$\varepsilon$为总变差距离精度,$k$为目标分布的固有维度。此外,我们通过建立去噪扩散概率模型过程与随机定位之间的新联系,证明DDPM过程等价于整流流的随机化版本。基于此联系,我们进一步设计了随机整流流采样器,该采样器在漂移估计精度要求更宽松的条件下,配合特定时间调度方案,同样能适应目标分布的低维特性。我们通过合成数据与文生图数据实验的模拟结果,展示了采用新设计时间离散化方案所提采样器的性能提升。

0
下载
关闭预览

相关内容

设计是对现有状的一种重新认识和打破重组的过程,设计让一切变得更美。
【博士论文】迈向可扩展、灵活的点云场景流
专知会员服务
14+阅读 · 2025年3月21日
低层视觉中的扩散模型:综述
专知会员服务
22+阅读 · 2024年6月18日
【博士论文】集群系统中的网络流调度
专知会员服务
46+阅读 · 2021年12月7日
【资源】领域自适应相关论文、代码分享
专知
32+阅读 · 2019年10月12日
迁移自适应学习最新综述,附21页论文下载
领域自适应学习论文大列表
专知
71+阅读 · 2019年3月2日
简述多种降维算法
算法与数学之美
11+阅读 · 2018年9月23日
极市分享|王晋东 迁移学习中的领域自适应方法
极市平台
10+阅读 · 2017年12月11日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员