Diffusion probabilistic models have been successful in generating high-quality and diverse images. However, traditional models, whose input and output are high-resolution images, suffer from excessive memory requirements, making them less practical for edge devices. Previous approaches for generative adversarial networks proposed a patch-based method that uses positional encoding and global content information. Nevertheless, designing a patch-based approach for diffusion probabilistic models is non-trivial. In this paper, we resent a diffusion probabilistic model that generates images on a patch-by-patch basis. We propose two conditioning methods for a patch-based generation. First, we propose position-wise conditioning using one-hot representation to ensure patches are in proper positions. Second, we propose Global Content Conditioning (GCC) to ensure patches have coherent content when concatenated together. We evaluate our model qualitatively and quantitatively on CelebA and LSUN bedroom datasets and demonstrate a moderate trade-off between maximum memory consumption and generated image quality. Specifically, when an entire image is divided into 2 x 2 patches, our proposed approach can reduce the maximum memory consumption by half while maintaining comparable image quality.


翻译:扩散概率模型在生成高质量、多样化的图像方面取得了成功。然而,传统模型的输入和输出均为高分辨率图像,导致其内存需求过高,难以在边缘设备上实际应用。先前针对生成对抗网络的研究提出了一种基于分块的方法,利用位置编码和全局内容信息。然而,为扩散概率模型设计分块方法并非易事。本文提出了一种逐块生成图像的扩散概率模型。我们针对分块生成提出了两种条件化方法:首先,利用独热编码实现位置条件化,确保各分块位于正确位置;其次,提出全局内容条件化(Global Content Conditioning,GCC),以保障分块拼接后内容连贯。我们在CelebA和LSUN卧室数据集上对模型进行了定性和定量评估,结果表明最大内存消耗与生成图像质量之间存在适度权衡。具体而言,当整幅图像被划分为2×2分块时,所提方法可在保持可比较图像质量的同时,将最大内存消耗降低一半。

0
下载
关闭预览

相关内容

概率模型(生成模型)通过函数 F 来描述 X 和 Y 的联合概率或者条件概率分布。
【ICML2023】通过离散扩散建模实现高效和度引导的图生成
【AAAI2023】不确定性感知的图像描述生成
专知会员服务
26+阅读 · 2022年12月4日
【ECCV2020】EfficientFCN:语义分割中的整体引导解码器
专知会员服务
18+阅读 · 2020年8月23日
专知会员服务
63+阅读 · 2020年3月4日
浅谈扩散模型的有分类器引导和无分类器引导
PaperWeekly
4+阅读 · 2022年12月1日
类数值方法PNDM:Stable Diffusion默认加速采样方案
生成扩散模型漫谈:最优扩散方差估计(上)
PaperWeekly
0+阅读 · 2022年9月25日
谷歌推出多轴注意力方法,既改进ViT又提升MLP
机器之心
0+阅读 · 2022年9月9日
已删除
将门创投
12+阅读 · 2019年7月1日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2010年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Arxiv
0+阅读 · 2023年5月31日
Arxiv
0+阅读 · 2023年5月30日
Arxiv
46+阅读 · 2022年9月6日
VIP会员
最新内容
《基于强化学习的自动化红队测试》
专知会员服务
3+阅读 · 7月23日
伊朗不对称防空战略的演进
专知会员服务
4+阅读 · 7月23日
对抗环境下超视距目标打击的情报支援
专知会员服务
10+阅读 · 7月22日
《无人机对海面作战影响评估》
专知会员服务
15+阅读 · 7月21日
印度精确打击与指挥架构的断层
专知会员服务
7+阅读 · 7月20日
相关VIP内容
【ICML2023】通过离散扩散建模实现高效和度引导的图生成
【AAAI2023】不确定性感知的图像描述生成
专知会员服务
26+阅读 · 2022年12月4日
【ECCV2020】EfficientFCN:语义分割中的整体引导解码器
专知会员服务
18+阅读 · 2020年8月23日
专知会员服务
63+阅读 · 2020年3月4日
相关资讯
浅谈扩散模型的有分类器引导和无分类器引导
PaperWeekly
4+阅读 · 2022年12月1日
类数值方法PNDM:Stable Diffusion默认加速采样方案
生成扩散模型漫谈:最优扩散方差估计(上)
PaperWeekly
0+阅读 · 2022年9月25日
谷歌推出多轴注意力方法,既改进ViT又提升MLP
机器之心
0+阅读 · 2022年9月9日
已删除
将门创投
12+阅读 · 2019年7月1日
相关基金
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2010年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员