Digital semantic communication systems, which often leverage the Vector Quantized Variational Autoencoder (VQ-VAE) framework, are pivotal for future wireless networks. In a VQ-VAE-based semantic communication system, the transmission rate is directly governed by the size of a discrete codebook known as knowledge base (KB). However, the KB size is a fixed hyperparameter, meaning that adapting the rate requires training and storing a separate model for each desired size -- a practice that is too computationally and storage-prohibitive to achieve truly granular rate control. To address this, we introduce a principled, zero-shot KB resizing method that enables on-the-fly rate adaptation without any retraining. Our approach establishes a global importance ranking for all vectors within a single, large parent KB by uncovering its inherent semantic hierarchy. This is achieved via a three-step framework: 1) embedding KB vectors into hyperbolic space to reveal their hierarchical relationships; 2) constructing a master semantic tree using a minimum spanning tree algorithm; 3) enabling instant resizing by iteratively pruning the least important leaf nodes. Extensive simulations demonstrate that our method achieves reconstruction quality nearly identical to that of dedicated KBs trained from scratch, while demanding only a fraction of the computational budget. Moreover, our approach exhibits superior robustness at very low rates, where conventional KBs suffer from catastrophic failure. Our work resolves a fundamental limitation of VQ-VAE-based semantic communication systems, offering a practical and efficient path toward flexible and rate-adaptive semantic communication.


翻译:数字语义通信系统通常基于矢量量化变分自编码器(VQ-VAE)框架,对未来无线网络至关重要。在基于VQ-VAE的语义通信系统中,传输速率直接由一个被称为知识库(KB)的离散码本大小所决定。然而,KB大小是一个固定的超参数,这意味着调整速率需要为每个目标大小分别训练和存储一个独立的模型——这种做法的计算和存储成本过高,无法实现真正精细的速率控制。为解决此问题,我们提出了一种原理性的零样本KB重设大小方法,无需任何重新训练即可实现动态速率适配。我们的方法通过揭示单个大型父KB固有的语义层次结构,为其内部所有向量建立全局重要性排序。这是通过一个三步框架实现的:1)将KB向量嵌入双曲空间以揭示其层次关系;2)使用最小生成树算法构建主语义树;3)通过迭代剪枝最不重要的叶节点实现即时重设大小。大量仿真实验表明,我们的方法达到的重建质量与从头训练的专用KB几乎相同,而仅需其计算成本的一小部分。此外,在极低速率下,传统KB会遭遇灾难性性能下降,而我们的方法展现出卓越的鲁棒性。我们的工作解决了基于VQ-VAE的语义通信系统的一个根本性局限,为灵活且速率自适应的语义通信提供了一条实用高效的路径。

0
下载
关闭预览

相关内容

《面向现代语义通信的语义知识库技术白皮书》正式发布
专知会员服务
58+阅读 · 2023年12月13日
专知会员服务
32+阅读 · 2021年1月9日
专知会员服务
37+阅读 · 2020年9月25日
技术动态 | TechKG:一个面向中文学术领域的大型知识图谱
开放知识图谱
25+阅读 · 2018年12月20日
再谈变分自编码器VAE:从贝叶斯观点出发
PaperWeekly
13+阅读 · 2018年4月2日
国家自然科学基金
18+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2016年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
VIP会员
相关VIP内容
《面向现代语义通信的语义知识库技术白皮书》正式发布
专知会员服务
58+阅读 · 2023年12月13日
专知会员服务
32+阅读 · 2021年1月9日
专知会员服务
37+阅读 · 2020年9月25日
相关基金
国家自然科学基金
18+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2016年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员