Diffusion models have achieved impressive empirical success in generative tasks, and their convergence theory is now relatively well understood. Motivated by privacy and scalability, recent decentralized diffusion architectures replace a single global velocity field with multiple local experts and a routing mechanism, yielding a sampling dynamics with stochastic expert switching that falls outside standard diffusion convergence analyses. In this work, We study a decentralized diffusion framework with stochastic velocity fields and ODE-based sampling. We establish a convergence guarantee in Wasserstein-2 distance, showing that the distribution of the $N$-step discretization converges to the analytical solution at rate $\mathcal{O}(N^{-1/2}+\varepsilon)$ in $W_2$, where $\varepsilon$ captures the neural approximation errors. To our knowledge, this is the first $W_2$ convergence result for decentralized diffusion models with an ODE-based sampling scheme.


翻译:扩散模型在生成任务中取得了令人瞩目的经验成功,其收敛理论目前已相对完善。然而,受隐私性和可扩展性的驱动,近期分散式扩散架构将单一的全局速度场替换为多个局部专家与路由机制的结合,由此产生的采样动力学涉及随机专家切换,这超出了标准扩散收敛分析的范围。本研究针对具有随机速度场和基于ODE采样的分散扩散框架进行探究。我们在Wasserstein-2距离下建立了收敛保证,表明$N$步离散化分布以$\mathcal{O}(N^{-1/2}+\varepsilon)$的速率在$W_2$度量下收敛至解析解,其中$\varepsilon$表征神经网络近似误差。据我们所知,这是针对采用ODE采样方案的分散扩散模型所提出的首个$W_2$收敛性结果。

0
下载
关闭预览

相关内容

扩散模型量化综述
专知会员服务
18+阅读 · 2025年5月11日
面向图像处理逆问题的扩散模型研究综述
专知会员服务
16+阅读 · 2025年4月23日
扩散模型中的注意力机制:综述
专知会员服务
24+阅读 · 2025年4月10日
《扩散模型及其应用》最新综述
专知会员服务
50+阅读 · 2024年8月21日
详解扩散模型:从DDPM到稳定扩散,附Slides与视频
专知会员服务
87+阅读 · 2022年10月9日
Attention!注意力机制模型最新综述(附下载)
THU数据派
29+阅读 · 2019年4月13日
Attention!注意力机制模型最新综述
中国人工智能学会
18+阅读 · 2019年4月8日
用模型不确定性理解模型
论智
11+阅读 · 2018年9月5日
基于注意力机制的图卷积网络
科技创新与创业
74+阅读 · 2017年11月8日
CNN 模型压缩与加速算法综述
机器学习研究会
16+阅读 · 2017年8月25日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Arxiv
22+阅读 · 2023年11月2日
VIP会员
最新内容
装甲突击旅:现代战争思考、战斗与组织
专知会员服务
0+阅读 · 24分钟前
在人工智能加速决策环境中拓展OODA循环
专知会员服务
0+阅读 · 34分钟前
军事欺骗:供作战战术指挥官使用的工具
专知会员服务
0+阅读 · 49分钟前
综述 | 世界动作模型:少做梦,多行动
专知会员服务
4+阅读 · 6月23日
美以伊冲突:无人机与人工智能的运用
专知会员服务
7+阅读 · 6月23日
《特种部队在透明战场中的生存力》最新报告
专知会员服务
4+阅读 · 6月23日
综述 | 3D场景图:开放挑战与未来方向
专知会员服务
8+阅读 · 6月22日
相关资讯
Attention!注意力机制模型最新综述(附下载)
THU数据派
29+阅读 · 2019年4月13日
Attention!注意力机制模型最新综述
中国人工智能学会
18+阅读 · 2019年4月8日
用模型不确定性理解模型
论智
11+阅读 · 2018年9月5日
基于注意力机制的图卷积网络
科技创新与创业
74+阅读 · 2017年11月8日
CNN 模型压缩与加速算法综述
机器学习研究会
16+阅读 · 2017年8月25日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员