While Separate Source-Channel Coding (SSCC) retains the practical benefits of modular system design, its effectiveness in noisy text transmission is fundamentally constrained by the fragility of autoregressive source decoding. In low-SNR regimes, even a small number of residual bit errors after channel decoding may derail the subsequent lossless reconstruction process, especially when Arithmetic Coding (AC) relies on Large Language Model (LLM)-based probability estimation. Existing remedies either strengthen channel decoding based solely on channel observations or introduce contextual information only at the receiver for post-hoc correction, yet neither fully addresses the fragility of source probability modeling under residual channel errors. To this end, this paper proposes a Memory-Augmented Source Coding (MASC) scheme for robust SSCC-based transmission. Rather than treating context as external side information, MASC internalizes contextual patterns into a source model shared by both the transmitter-side source encoder and the receiver-side source decoder. Specifically, MASC employs a shared Parameterized Contextual Memory (PCM) to encode multi-order $n$-gram patterns, and further introduces a Mixture-of-Memory-Experts Router (MMER) to perform sparse, hidden-state-dependent routing over memory experts during autoregressive source modeling. By adaptively activating only the most relevant memories at each coding step, MASC refines source probability estimation, shortens average codelength, and mitigates the sensitivity of source decoding to residual channel errors. Extensive experiments over Rayleigh fading and AWGN channels demonstrate the effectiveness of the proposed scheme compared with state-of-the-art methods.


翻译:尽管分离信源信道编码(SSCC)保留了模块化系统设计的实际优势,但其在噪声文本传输中的有效性受到自回归信源解码脆弱性的根本限制。在低信噪比条件下,即使信道解码后仅有少量残余比特错误,也可能导致后续无损重构过程偏离轨道,特别是当算术编码(AC)依赖于基于大语言模型(LLM)的概率估计时。现有补救措施要么仅基于信道观测值加强信道解码,要么仅在接收端引入上下文信息进行事后修正,但两者均未能完全解决残余信道错误下信源概率建模的脆弱性问题。为此,本文提出了一种记忆增强型信源编码(MASC)方案,用于实现鲁棒的基于SSCC的传输。MASC并非将上下文视为外部辅助信息,而是将上下文模式内化到由发送端信源编码器和接收端信源解码器共享的信源模型中。具体地,MASC采用共享的参数化上下文记忆(PCM)来编码多阶n-gram模式,并进一步引入混合记忆专家路由器(MMER),在自回归信源建模过程中对记忆专家执行稀疏的、依赖于隐态的路由选择。通过在每个编码步骤自适应地激活最相关的记忆,MASC优化了信源概率估计、缩短了平均码长,并减轻了信源解码对残余信道错误的敏感性。在瑞利衰落和高斯白噪声信道上的大量实验表明,与最先进方法相比,所提方案具有有效性。

0
下载
关闭预览

相关内容

《利用深度学习生成类噪声通信代码》2023最新报告
专知会员服务
36+阅读 · 2023年9月26日
《分布式多智能体强化学习的编码》加州大学等
专知会员服务
56+阅读 · 2022年11月2日
编码计算研究综述
专知会员服务
22+阅读 · 2021年10月26日
专知会员服务
32+阅读 · 2021年1月9日
用于语音识别的数据增强
AI研习社
24+阅读 · 2019年6月5日
【学界】DeepMind论文:深度压缩感知,新框架提升GAN性能
GAN生成式对抗网络
14+阅读 · 2019年5月23日
使用RNN-Transducer进行语音识别建模【附PPT与视频资料】
人工智能前沿讲习班
74+阅读 · 2019年1月29日
深度学习文本分类方法综述(代码)
中国人工智能学会
28+阅读 · 2018年6月16日
【干货】深入理解自编码器(附代码实现)
【干货】一文读懂什么是变分自编码器
专知
12+阅读 · 2018年2月11日
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2016年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
6+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
7+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
4+阅读 · 6月17日
相关基金
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2016年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员