扩散模型(DMs)已成为生成性人工智能(GenAI)中的主流方法,凭借其在文本到图像合成等任务中的出色表现。然而,实际应用中的扩散模型,如稳定扩散,通常需要在庞大的数据集上进行训练,因此通常需要大量存储。同时,为了生成高质量的图像,可能需要多次步骤,即递归地评估训练过的神经网络,这在样本生成过程中导致了显著的计算成本。因此,基于预训练扩散模型的蒸馏方法已成为开发较小、效率更高的模型的广泛应用实践,这些模型能够在低资源环境中进行快速且少步骤的生成。当这些蒸馏方法从不同的角度发展时,急需进行系统性的综述,特别是从方法论的角度出发。在本综述中,我们从三个方面回顾了蒸馏方法:输出损失蒸馏、轨迹蒸馏和对抗蒸馏。我们还讨论了当前的挑战,并在结论中概述了未来的研究方向。

成为VIP会员查看完整内容
24

相关内容

预训练模型是深度学习架构,已经过训练以执行大量数据上的特定任务(例如,识别图片中的分类问题)。这种训练不容易执行,并且通常需要大量资源,超出许多可用于深度学习模型的人可用的资源。
大型语言模型的知识蒸馏综述:方法、评估与应用
专知会员服务
77+阅读 · 2024年7月4日
【CVPR2024】扩散模型的结构指导对抗训练
专知会员服务
27+阅读 · 2024年2月28日
《Transformer压缩》综述
专知会员服务
49+阅读 · 2024年2月14日
卷积神经网络压缩中的知识蒸馏技术综述
专知会员服务
57+阅读 · 2021年10月23日
【NeurIPS 2020】核基渐进蒸馏加法器神经网络
专知
13+阅读 · 2020年10月19日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Arxiv
174+阅读 · 2023年4月20日
A Survey of Large Language Models
Arxiv
497+阅读 · 2023年3月31日
VIP会员
相关VIP内容
大型语言模型的知识蒸馏综述:方法、评估与应用
专知会员服务
77+阅读 · 2024年7月4日
【CVPR2024】扩散模型的结构指导对抗训练
专知会员服务
27+阅读 · 2024年2月28日
《Transformer压缩》综述
专知会员服务
49+阅读 · 2024年2月14日
卷积神经网络压缩中的知识蒸馏技术综述
专知会员服务
57+阅读 · 2021年10月23日
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
相关论文
微信扫码咨询专知VIP会员