Generative joint source-channel coding (GJSCC) has emerged as a new Deep JSCC paradigm for achieving high-fidelity and robust image transmission under extreme wireless channel conditions, such as ultra-low bandwidth and low signal-to-noise ratio. Recent studies commonly adopt diffusion models as generative decoders, but they frequently produce visually realistic results with limited semantic consistency. This limitation stems from a fundamental mismatch between reconstruction-oriented JSCC encoders and generative decoders, as the former lack explicit semantic discriminability and fail to provide reliable conditional cues. In this paper, we propose DiT-JSCC, a novel GJSCC backbone that can jointly learn a semantics-prioritized representation encoder and a diffusion transformer (DiT) based generative decoder, our open-source project aims to promote the future research in GJSCC. Specifically, we design a semantics-detail dual-branch encoder that aligns naturally with a coarse-to-fine conditional DiT decoder, prioritizing semantic consistency under extreme channel conditions. Moreover, a training-free adaptive bandwidth allocation strategy inspired by Kolmogorov complexity is introduced to further improve the transmission efficiency, thereby indeed redefining the notion of information value in the era of generative decoding. Extensive experiments demonstrate that DiT-JSCC consistently outperforms existing JSCC methods in both semantic consistency and visual quality, particularly in extreme regimes.


翻译:生成式联合信源信道编码已成为一种新的深度联合信源信道编码范式,旨在超低带宽、低信噪比等极端无线信道条件下实现高保真、鲁棒的图像传输。现有研究普遍采用扩散模型作为生成式解码器,但其生成的视觉逼真结果往往语义一致性有限。这一局限源于以重建为导向的联合信源信道编码编码器与生成式解码器之间的根本性失配:前者缺乏显式的语义可判别性,无法提供可靠的条件线索。本文提出DiT-JSCC——一种新颖的生成式联合信源信道编码主干框架,能够联合学习语义优先的表征编码器与基于扩散Transformer的生成式解码器,我们的开源项目旨在推动生成式联合信源信道编码的未来研究。具体而言,我们设计了一种语义-细节双分支编码器,其与从粗到细的条件扩散Transformer解码器自然对齐,在极端信道条件下优先保障语义一致性。此外,受柯尔莫哥洛夫复杂度启发,我们引入了一种免训练的自适应带宽分配策略,以进一步提升传输效率,从而在生成式解码时代重新定义信息价值的概念。大量实验表明,DiT-JSCC在语义一致性与视觉质量上均持续优于现有联合信源信道编码方法,在极端传输场景中表现尤为突出。

0
下载
关闭预览

相关内容

【CVPR2024】VideoMAC: 视频掩码自编码器与卷积神经网络
专知会员服务
17+阅读 · 2024年3月4日
专知会员服务
31+阅读 · 2021年1月9日
LibRec 每周算法:LDA主题模型
LibRec智能推荐
29+阅读 · 2017年12月4日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员