Semantic communication focuses on conveying the intrinsic meaning of data rather than its raw symbolic representation. For visual content, this paradigm shifts from traditional pixel-level transmission toward leveraging the semantic structure of images to communicate visual meaning. Existing approaches are dominated by two routes: using text-only descriptions, which typically under-specify spatial layout and fine-grained appearance details; or transmitting text alongside dense latent visual features, which can over-specify semantics and introduce redundancy and bitrate overhead. A key challenge, therefore, is to reduce semantic redundancy while preserving semantic understanding and visual fidelity, thereby improving overall transmission efficiency. This paper introduces a diffusion-based semantic communication framework with adaptive retransmission. The system transmits concise text descriptions together with a limited set of key latent visual features, and employs a diffusion-based inpainting model to reconstruct the image. A receiver-side semantic consistency mechanism is designed to evaluate the alignment between the reconstructed image and the original text description. When a semantic discrepancy is detected, the receiver triggers a retransmission to request a small set of additional latent blocks and refine the image reconstruction. This approach significantly reduces bandwidth usage while preserving high semantic accuracy, achieving an efficient balance between reconstruction quality and transmission cost.


翻译:语义通信侧重于传递数据的内在含义而非其原始符号表示。对于视觉内容,该范式从传统的像素级传输转向利用图像的语义结构来传达视觉意义。现有方法主要遵循两种路径:仅使用文本描述,但通常无法充分指定空间布局和细粒度外观细节;或在传输文本的同时发送密集的潜在视觉特征,这可能过度指定语义并引入冗余和比特率开销。因此,核心挑战在于减少语义冗余的同时保持语义理解和视觉保真度,从而提升整体传输效率。本文提出一种基于扩散模型的自适应重传语义通信框架。该系统传输简洁的文本描述及有限的关键潜在视觉特征,并采用基于扩散的图像修复模型进行图像重建。接收端设计了语义一致性机制,用于评估重建图像与原始文本描述之间的对齐程度。当检测到语义差异时,接收端触发重传机制,请求少量额外的潜在特征块以优化图像重建。该方法在保持高语义准确性的同时显著降低了带宽使用,实现了重建质量与传输成本之间的高效平衡。

0
下载
关闭预览

相关内容

【博士论文】视觉-语言模型时代的生成式视觉传播
专知会员服务
24+阅读 · 2024年12月10日
专知会员服务
87+阅读 · 2021年1月7日
【深度语义匹配模型】原理篇二:交互篇
AINLP
16+阅读 · 2020年5月18日
综述 | 语义分割经典网络及轻量化模型盘点
计算机视觉life
53+阅读 · 2019年7月23日
《pyramid Attention Network for Semantic Segmentation》
统计学习与视觉计算组
44+阅读 · 2018年8月30日
语义分割中的深度学习方法全解:从FCN、SegNet到DeepLab
炼数成金订阅号
26+阅读 · 2017年7月10日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员