We investigate lossy source coding based on a soft-decision belief propagation guided decimation (BPGD) encoder for low-density generator matrix (LDGM) codes, referred to as \emph{soft-hard BPGD}. The performance of this encoder is highly sensitive to the choice of ``softness'' parameters, typically denoted by $(β,μ)$, which are conventionally tuned via exhaustive empirical sweeps. To reduce this burden and to better align the algorithm with the evolving graphical structure during decimation, we introduce a \emph{dynamic scheduling} framework in which $(β,μ)$ are not fixed globally but change as decimation progresses. The schedule starts in a softer regime to encourage exploration and gradually hardens toward the end to promote convergence, similar to simulated annealing. We consider linear and exponential schedules, discuss their physical interpretation via an effective temperature viewpoint, and explain how they integrate with soft-hard BPGD without changing the order of magnitude of its complexity. Numerical experiments with irregular and semi-regular LDGM ensembles indicate improved rate-distortion performance and reduced non-convergence compared to constant-parameter baselines, while largely eliminating expensive grid searches for a single best pair $(β,μ)$.


翻译:我们研究了一种基于软判决置信传播引导消去(BPGD)编码器的有损信源编码方案,该方案应用于低密度生成矩阵(LDGM)码,称为软硬BPGD。该编码器的性能对“软度”参数(通常记为$(β,μ)$)的选择高度敏感,这些参数传统上通过穷举经验扫描进行调整。为减轻这一负担并更好地使算法与消去过程中不断变化的图结构对齐,我们引入了一种动态调度框架,其中$(β,μ)$并非全局固定,而是随消去进程动态变化。调度从较软的区域开始以鼓励探索,并逐步硬化至终点以促进收敛,这与模拟退火类似。我们考虑了线性和指数调度,通过有效温度视角讨论了其物理意义,并解释了它们如何在不改变软硬BPGD复杂度数量级的情况下与之集成。采用不规则和半规则LDGM集合进行的数值实验表明,与恒定参数基线相比,所提方法在率失真性能和降低非收敛性方面均有改善,同时很大程度上消除了为寻找单一最优参数对$(β,μ)$而进行的昂贵网格搜索。

0
下载
关闭预览

相关内容

【ICLR2025】DynaPrompt:动态测试时提示调优
专知会员服务
10+阅读 · 2025年2月2日
《分布式多智能体强化学习的编码》加州大学等
专知会员服务
57+阅读 · 2022年11月2日
专知会员服务
10+阅读 · 2021年1月31日
专知会员服务
33+阅读 · 2021年1月9日
自定义损失函数Gradient Boosting
AI研习社
14+阅读 · 2018年10月16日
【干货】深入理解变分自编码器
专知
21+阅读 · 2018年3月22日
【干货】一文读懂什么是变分自编码器
专知
12+阅读 · 2018年2月11日
干货|代码原理教你搞懂SGD随机梯度下降、BGD、MBGD
机器学习研究会
12+阅读 · 2017年11月25日
干货 | 深度学习之损失函数与激活函数的选择
机器学习算法与Python学习
15+阅读 · 2017年9月18日
国家自然科学基金
0+阅读 · 2016年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 5月4日
VIP会员
最新内容
非对称防御中的自组织临界性:俄乌战争
专知会员服务
1+阅读 · 今天14:36
《战争中的大语言模型监管》
专知会员服务
2+阅读 · 今天14:26
边缘计算的军事应用
专知会员服务
8+阅读 · 8月9日
一种考虑资源机动性的武器目标分配混合算法
专知会员服务
9+阅读 · 8月8日
相关基金
国家自然科学基金
0+阅读 · 2016年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员