We investigate lossy source coding based on a soft-decision belief propagation guided decimation (BPGD) encoder for low-density generator matrix (LDGM) codes, referred to as \emph{soft-hard BPGD}. The performance of this encoder is highly sensitive to the choice of ``softness'' parameters, typically denoted by $(β,μ)$, which are conventionally tuned via exhaustive empirical sweeps. To reduce this burden and to better align the algorithm with the evolving graphical structure during decimation, we introduce a \emph{dynamic scheduling} framework in which $(β,μ)$ are not fixed globally but change as decimation progresses. The schedule starts in a softer regime to encourage exploration and gradually hardens toward the end to promote convergence, similar to simulated annealing. We consider linear and exponential schedules, discuss their physical interpretation via an effective temperature viewpoint, and explain how they integrate with soft-hard BPGD without changing the order of magnitude of its complexity. Numerical experiments with irregular and semi-regular LDGM ensembles indicate improved rate-distortion performance and reduced non-convergence compared to constant-parameter baselines, while largely eliminating expensive grid searches for a single best pair $(β,μ)$.


翻译:我们研究了一种基于软判决置信传播引导消去(BPGD)编码器的有损信源编码方案,该方案应用于低密度生成矩阵(LDGM)码,称为软硬BPGD。该编码器的性能对“软度”参数(通常记为$(β,μ)$)的选择高度敏感,这些参数传统上通过穷举经验扫描进行调整。为减轻这一负担并更好地使算法与消去过程中不断变化的图结构对齐,我们引入了一种动态调度框架,其中$(β,μ)$并非全局固定,而是随消去进程动态变化。调度从较软的区域开始以鼓励探索,并逐步硬化至终点以促进收敛,这与模拟退火类似。我们考虑了线性和指数调度,通过有效温度视角讨论了其物理意义,并解释了它们如何在不改变软硬BPGD复杂度数量级的情况下与之集成。采用不规则和半规则LDGM集合进行的数值实验表明,与恒定参数基线相比,所提方法在率失真性能和降低非收敛性方面均有改善,同时很大程度上消除了为寻找单一最优参数对$(β,μ)$而进行的昂贵网格搜索。

0
下载
关闭预览

相关内容

【ICLR2025】DynaPrompt:动态测试时提示调优
专知会员服务
10+阅读 · 2025年2月2日
《分布式多智能体强化学习的编码》加州大学等
专知会员服务
56+阅读 · 2022年11月2日
专知会员服务
10+阅读 · 2021年1月31日
专知会员服务
32+阅读 · 2021年1月9日
自定义损失函数Gradient Boosting
AI研习社
14+阅读 · 2018年10月16日
【干货】深入理解变分自编码器
专知
21+阅读 · 2018年3月22日
【干货】一文读懂什么是变分自编码器
专知
12+阅读 · 2018年2月11日
干货|代码原理教你搞懂SGD随机梯度下降、BGD、MBGD
机器学习研究会
12+阅读 · 2017年11月25日
干货 | 深度学习之损失函数与激活函数的选择
机器学习算法与Python学习
15+阅读 · 2017年9月18日
国家自然科学基金
0+阅读 · 2016年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 5月4日
VIP会员
最新内容
ICML 2026 | CFPO:用反事实策略优化提升多模态推理
专知会员服务
1+阅读 · 今天14:45
综述 | 世界动作模型:少做梦,多行动
专知会员服务
1+阅读 · 今天14:43
美以伊冲突:无人机与人工智能的运用
专知会员服务
3+阅读 · 今天14:31
《特种部队在透明战场中的生存力》最新报告
专知会员服务
2+阅读 · 今天14:11
《人工智能生成的零日漏洞:对未来作战的影响》
综述 | 3D场景图:开放挑战与未来方向
专知会员服务
8+阅读 · 6月22日
21世纪的无人机战争
专知会员服务
4+阅读 · 6月22日
《量子技术的军事任务技术适配与利用》
专知会员服务
5+阅读 · 6月22日
相关基金
国家自然科学基金
0+阅读 · 2016年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员