Token-based semantic communication is promising for future wireless networks, as it can compact semantic tokens under very limited channel capacity. However, harsh wireless channels often cause missing tokens, leading to severe distortion that prevents reliable semantic recovery at the receiver. In this article, we propose a token encoding framework for robust semantic recovery (TokCode), which incurs no additional transmission overhead and supports plug-and-play deployment. For efficient token encoder optimization, we develop a sentence-semantic-guided foundation model adaptation algorithm (SFMA) that avoids costly end-to-end training. Based on simulation results on prompt-based generative image transmission, TokCode mitigates semantic distortion and can approach the performance upper-bound, even under harsh channels where 40% to 60% of tokens are randomly lost.


翻译:基于令牌的语义通信在未来无线网络中具有前景,因为它能在极有限的信道容量下压缩语义令牌。然而,恶劣的无线信道常导致令牌丢失,从而造成严重失真,阻碍接收端可靠地恢复语义。本文提出了一种用于鲁棒语义恢复的令牌编码框架(TokCode),该框架不增加额外传输开销,且支持即插即用部署。为了实现高效的令牌编码器优化,我们开发了一种基于句子语义引导的基础模型适配算法(SFMA),避免了昂贵的端到端训练。基于基于提示的生成式图像传输仿真结果,TokCode能够减轻语义失真,并接近性能上限,即使在40%至60%令牌随机丢失的恶劣信道条件下也是如此。

0
下载
关闭预览

相关内容

《面向现代语义通信的语义知识库技术白皮书》正式发布
专知会员服务
58+阅读 · 2023年12月13日
【反馈循环自编码器】FEEDBACK RECURRENT AUTOENCODER
专知会员服务
23+阅读 · 2020年1月28日
【Github】GPT2-Chinese:中文的GPT2训练代码
AINLP
52+阅读 · 2019年8月23日
用于语音识别的数据增强
AI研习社
24+阅读 · 2019年6月5日
基于PyTorch/TorchText的自然语言处理库
专知
28+阅读 · 2019年4月22日
语音识别的前沿论文,看我们推荐的这4篇
人工智能前沿讲习班
26+阅读 · 2019年1月14日
Seq2seq强化,Pointer Network简介
机器学习算法与Python学习
15+阅读 · 2018年12月8日
BiSeNet:双向分割网络进行实时语义分割
统计学习与视觉计算组
22+阅读 · 2018年8月23日
语义分割+视频分割开源代码集合
极市平台
35+阅读 · 2018年3月5日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
VIP会员
最新内容
重新思考无人机时代的生存能力
专知会员服务
0+阅读 · 13分钟前
装甲突击旅:现代战争思考、战斗与组织
专知会员服务
0+阅读 · 29分钟前
在人工智能加速决策环境中拓展OODA循环
专知会员服务
0+阅读 · 39分钟前
军事欺骗:供作战战术指挥官使用的工具
专知会员服务
0+阅读 · 54分钟前
综述 | 世界动作模型:少做梦,多行动
专知会员服务
4+阅读 · 6月23日
美以伊冲突:无人机与人工智能的运用
专知会员服务
7+阅读 · 6月23日
《特种部队在透明战场中的生存力》最新报告
专知会员服务
4+阅读 · 6月23日
综述 | 3D场景图:开放挑战与未来方向
专知会员服务
8+阅读 · 6月22日
相关VIP内容
《面向现代语义通信的语义知识库技术白皮书》正式发布
专知会员服务
58+阅读 · 2023年12月13日
【反馈循环自编码器】FEEDBACK RECURRENT AUTOENCODER
专知会员服务
23+阅读 · 2020年1月28日
相关资讯
【Github】GPT2-Chinese:中文的GPT2训练代码
AINLP
52+阅读 · 2019年8月23日
用于语音识别的数据增强
AI研习社
24+阅读 · 2019年6月5日
基于PyTorch/TorchText的自然语言处理库
专知
28+阅读 · 2019年4月22日
语音识别的前沿论文,看我们推荐的这4篇
人工智能前沿讲习班
26+阅读 · 2019年1月14日
Seq2seq强化,Pointer Network简介
机器学习算法与Python学习
15+阅读 · 2018年12月8日
BiSeNet:双向分割网络进行实时语义分割
统计学习与视觉计算组
22+阅读 · 2018年8月23日
语义分割+视频分割开源代码集合
极市平台
35+阅读 · 2018年3月5日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员