We apply the influence-adaptive Walsh geometry of a companion theory paper (arXiv:2605.01637) to extreme low-bit weight-only LLM quantization. The recipe is one math-invariant transformation: WHT-rotate each linear layer's weight matrix and rescale its columns by per-coordinate Walsh-basis activation energy before handing off to a reconstruction-error quantizer (Intel auto-round). This biases per-group integer rounding toward high-spectral-energy channels. On four pretrained decoder-only models from 135M to 1.5B parameters, BBT-spectral reduces wikitext-2 perplexity by 15-58% relative to vanilla auto-round at W2A16; we also report a TinyLlama-1.1B auxiliary data point. Three extensions transfer the recipe to families it failed on: a per-head PCA matrix-Gamma replacement of q_norm/k_norm for Qwen3 attention (PPL 136.76 -> 88.99 on Qwen3-0.6B); an SO(2) per-pair rotation that commutes with RoPE (PPL 36.93 -> 21.84 on Qwen2.5-1.5B); and an MoE-aware input-side absorption fix identified by architectural fuzzing of Laguna-style fused-expert layouts. A W2-vs-W4 ablation gives a deliberate negative control: the redistribution payoff falls within the +/-0.5 PPL noise floor at W4, consistent with the Schur-convexity intuition that the cost of unconcentrated influence vanishes as the noise budget shrinks. All quantized weights export to OpenVINO IR and run on Intel NPU + Arc dGPU + CPU with PPL invariant to device within +/-0.1. We do not claim a formal Boolean-to-real-valued transfer of the theory paper's majorization argument: the WHT activation energy used here is not the Boolean influence of the theory paper, the link is intuitive, and the contribution is engineering value rather than a transferred theorem. Head-to-head benchmarks against SpinQuant, QuaRot, QuIP-sharp, AQLM, OmniQuant, and ButterflyQuant at matched calibration are the main future-work item.


翻译:我们应用配套理论论文(arXiv:2605.01637)中影响自适应沃尔什几何结构,实现极低位权重量化。该方法为一种数学不变变换:在将每个线性层的权重矩阵交给重构误差量化器(Intel auto-round)前,先进行WHT旋转,并按逐坐标沃尔什基激活能重新缩放列。这使每组整数舍入偏向高谱能通道。在四个从1.35亿到15亿参数的预训练解码器模型上,相比标准auto-round的W2A16配置,BBT谱变换将wikitext-2困惑度相对降低15%-58%;我们还报告了TinyLlama-1.1B辅助数据点。三个扩展将该方法推广至原先失效的模型族:针对Qwen3注意力机制,用每头PCA矩阵-伽玛替换q_norm/k_norm(Qwen3-0.6B困惑度从136.76降至88.99);与RoPE可交换的每对SO(2)旋转(Qwen2.5-1.5B困惑度从36.93降至21.84);通过结构模糊测试识别Laguna风格融合专家布局中的MoE感知输入侧吸收修正。W2与W4消融实验提供刻意阴性对照:W4时重分布收益在±0.5困惑度噪声底限内,符合Schur凸性直觉——随着噪声预算缩减,非集中影响的代价逐渐消失。所有量化权重可导出为OpenVINO IR格式,并在Intel NPU+Arc dGPU+CPU上运行,设备间困惑度变化在±0.1以内。我们未声称将理论论文的主参数论证形式化地转换为布尔-实数映射:此处使用的WHT激活能并非理论论文中的布尔影响,二者联系仅为直观类比,贡献在于工程实践价值而非定理迁移。在同等校准条件下与SpinQuant、QuaRot、QuIP-sharp、AQLM、OmniQuant和ButterflyQuant进行正面基准测试是主要未来工作。

0
下载
关闭预览

相关内容

专知会员服务
16+阅读 · 2020年7月27日
使用 FastAI 和即时频率变换进行音频分类
AI研习社
11+阅读 · 2019年5月9日
神经网络中的权重初始化一览:从基础到Kaiming
大数据文摘
12+阅读 · 2019年4月18日
详解GAN的谱归一化(Spectral Normalization)
PaperWeekly
11+阅读 · 2019年2月13日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
VIP会员
最新内容
战力倍增器:自主武器系统与乌克兰及加沙冲突
专知会员服务
1+阅读 · 今天15:24
人工智能赋能战场情报:提速决策进程
专知会员服务
0+阅读 · 今天15:15
《拥抱新兴技术:面向未来军官的教育革新》
专知会员服务
2+阅读 · 今天15:11
《无人地面战车(UGV)的崛起》报告
专知会员服务
7+阅读 · 7月16日
美陆军任务式指挥人工智能解决方案
专知会员服务
11+阅读 · 7月16日
相关VIP内容
专知会员服务
16+阅读 · 2020年7月27日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员