Popularized by their strong image generation performance, diffusion and related methods for generative modeling have found widespread success in visual media applications. In particular, diffusion methods have enabled new approaches to data compression, where realistic reconstructions can be generated at extremely low bit-rates. This article provides a unifying review of recent diffusion-based methods for generative lossy compression, with a focus on image compression. These methods generally encode the source into an embedding and employ a diffusion model to iteratively refine it in the decoding procedure, such that the final reconstruction approximately follows the ground truth data distribution. The embedding can take various forms and is typically transmitted via an auxiliary entropy model, and recent methods also explore the use of diffusion models themselves for information transmission via channel simulation. We review representative approaches through the lens of rate-distortion-perception theory, highlighting the role of common randomness and connections to inverse problems, and identify open challenges.


翻译:凭借其卓越的图像生成性能,扩散及相关生成建模方法已在视觉媒体应用中获得广泛成功。特别地,扩散方法为数据压缩开辟了新途径,使得在极低比特率下生成逼真重建成为可能。本文对近期基于扩散的生成式有损压缩方法进行了系统性综述,重点关注图像压缩领域。这类方法通常将源数据编码为嵌入表示,并在解码过程中利用扩散模型对其进行迭代优化,从而使最终重建结果近似遵循真实数据分布。嵌入表示可呈现多种形式,通常通过辅助熵模型进行传输;近期研究亦探索利用扩散模型本身通过信道模拟实现信息传输。我们通过率失真感知理论的视角审视代表性方法,强调公共随机性的作用及其与逆问题的关联,并指出当前面临的开放性问题。

0
下载
关闭预览

相关内容

用于语言生成的离散扩散模型
专知会员服务
11+阅读 · 2025年7月10日
医学影像中的高效扩散模型:全面综述
专知会员服务
15+阅读 · 2025年5月26日
生成扩散模型研究综述
专知会员服务
37+阅读 · 2024年12月19日
《基于扩散模型的条件图像生成》综述
专知会员服务
44+阅读 · 2024年10月1日
扩散模型概述:应用、引导生成、统计率和优化
专知会员服务
47+阅读 · 2024年4月14日
最新《生成式对抗网络GAN进展》论文
专知
95+阅读 · 2019年4月5日
视频生成的前沿论文,看我们推荐的7篇就够了
人工智能前沿讲习班
34+阅读 · 2018年12月30日
概览CVPR 2018神经网络图像压缩领域进展
论智
13+阅读 · 2018年6月13日
如何设计基于深度学习的图像压缩算法
论智
41+阅读 · 2018年4月26日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员