We study the amplitude-constrained additive white Gaussian noise (AWGN) channel from the perspective of near-optimal input distributions. While it is known that the capacity-achieving input is discrete with finitely many mass points, the precise scaling of its support size as a function of the amplitude constraint remains an open problem. In this work, we instead consider the minimal support size required to achieve capacity up to an $\varepsilon$-gap. We introduce the quantity $K_\varepsilon(A)$, defined as the smallest support size among discrete inputs supported on $[-A,A]$ that achieves mutual information within $\varepsilon$ of capacity. We show that this relaxed formulation is significantly more tractable and admits sharp characterizations across different regimes of $\varepsilon$. In particular, when $\varepsilon$ decays polynomially with $A$, i.e., $\varepsilon = A^{-β}$ for $β\geq 1$, we establish that $K_\varepsilon(A) = Θ(A\sqrt{\log A})$. For exponentially small gaps, we obtain bounds of order between $A\sqrt{\log A}$ and $A^{3/2}$. Our approach combines approximation-theoretic bounds for Gaussian mixtures with information-theoretic control of entropy via $χ^2$-divergence, together with a wrapping argument that relates the problem to approximating the uniform distribution on the circle. Beyond the technical results, our framework provides a conceptual explanation for the variety of scaling laws observed in prior numerical studies, showing that these correspond to different regimes of $\varepsilon$-optimality rather than intrinsic properties of the exact optimizer.


翻译:我们从近优输入分布的角度研究幅度受限加性高斯白噪声(AWGN)信道。虽然已知容量可达输入是离散的且具有有限个质量点,但其支撑集大小随幅度约束变化的精确标度仍是一个开放问题。本文转而考虑在容量$\varepsilon$-差距内所需的最小支撑集大小。我们引入量$K_\varepsilon(A)$,定义为定义在$[-A,A]$上、在$\varepsilon$容量差距内达到互信息的离散输入的最小支撑集大小。我们证明这一松弛形式显著更易处理,并在$\varepsilon$的不同区间内给出精确刻画。特别地,当$\varepsilon$随$A$多项式衰减时(即$\varepsilon = A^{-β}$,$β\geq 1$),我们建立$K_\varepsilon(A) = Θ(A\sqrt{\log A})$。对于指数级小间隙,我们得到$A\sqrt{\log A}$与$A^{3/2}$之间的界。我们的方法将高斯混合的逼近理论界与通过$\chi^2$-散度控制熵的信息论工具相结合,并利用一个将问题关联到圆上均匀分布逼近的环绕论证。除技术结果外,我们的框架为先前数值研究中观察到的多种标度律提供了概念性解释,表明这些标度对应$\varepsilon$-最优性的不同区间,而非精确优化器的固有性质。

0
下载
关闭预览

相关内容

【CVPR2023】DiffCollage:用扩散模型并行生成大量内容
专知会员服务
28+阅读 · 2023年4月4日
【AAAI2023】对抗性权重扰动提高图神经网络的泛化能力
专知会员服务
19+阅读 · 2022年12月12日
【NeurIPS2020-FB】学习具有可解码信息瓶颈的最优表示
专知会员服务
23+阅读 · 2020年10月13日
基于GAN的极限图像压缩框架
论智
12+阅读 · 2018年4月15日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
最新内容
重新思考无人机时代的生存能力
专知会员服务
2+阅读 · 今天7:44
装甲突击旅:现代战争思考、战斗与组织
专知会员服务
2+阅读 · 今天7:28
在人工智能加速决策环境中拓展OODA循环
专知会员服务
3+阅读 · 今天7:18
军事欺骗:供作战战术指挥官使用的工具
专知会员服务
3+阅读 · 今天7:03
综述 | 世界动作模型:少做梦,多行动
专知会员服务
5+阅读 · 6月23日
美以伊冲突:无人机与人工智能的运用
专知会员服务
10+阅读 · 6月23日
《特种部队在透明战场中的生存力》最新报告
专知会员服务
5+阅读 · 6月23日
相关VIP内容
【CVPR2023】DiffCollage:用扩散模型并行生成大量内容
专知会员服务
28+阅读 · 2023年4月4日
【AAAI2023】对抗性权重扰动提高图神经网络的泛化能力
专知会员服务
19+阅读 · 2022年12月12日
【NeurIPS2020-FB】学习具有可解码信息瓶颈的最优表示
专知会员服务
23+阅读 · 2020年10月13日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员