博士论文 | 面向大模型推理的内存高效算法

导读

大模型推理的核心矛盾，正在从“算不动”转向“搬不动”。训练阶段常被视为算力竞赛，但在真实服务中，模型要以自回归方式逐 token 生成，每一步都需要读取模型权重、访问历史 KV cache，并在显存、片上缓存和互联之间不断搬运数据。当上下文窗口、批量请求、多轮代理任务和长链推理同时增长时，推理系统的瓶颈会越来越明显地落在内存容量与内存带宽上。 Coleman Hooper 的 Berkeley EECS 2026 博士论文《Memory-Efficient LLM Inference Algorithms》围绕这一问题展开系统研究。论文不是只提出一个孤立压缩技巧，而是先从硬件趋势、应用趋势和性能建模解释为什么 LLM 推理会撞上“内存墙”，再分别从模型权重、KV cache、共享上下文注意力和推理时注意力近似四个方向提出算法与系统方案。 这篇论文的价值在于把“内存效率”拆成了多个层次：权重能否更低比特存储？长上下文的 KV cache 能否量化？固定上下文场景是否需要每次都读取全部 token？复杂推理中，是否可以只对最重要的键做精确注意力、对更远的信息做聚类近似？这些问题正对应今天 LLM 服务系统的真实痛点。

论文信息

论文题目：Memory-Efficient LLM Inference Algorithms 作者：Coleman Hooper 机构：University of California, Berkeley，Electrical Engineering and Computer Sciences 技术报告：UCB/EECS-2026-175 时间：2026 年 5 月 15 日 论文链接：https://www2.eecs.berkeley.edu/Pubs/TechRpts/2026/EECS-2026-175.pdf 学位信息：该文为 UC Berkeley 电气工程与计算机科学博士论文，委员会成员包括 Kurt Keutzer、Yakun Sophia Shao 与 Joseph Gonzalez。

一、LLM 推理为何撞上内存墙

论文开篇提出一个直接判断：大语言模型推理正在变成内存系统问题。模型规模持续扩大，服务端 GPU 的峰值 FLOPS 增长很快，但显存带宽、互联带宽和容量增长慢得多。于是，硬件“会算”不等于系统“能快”：当每个 token 的计算强度不足以填满计算单元时，GPU 大量时间会花在等待数据从内存中读出。

这种矛盾在 LLM 推理中尤其突出。自回归解码阶段每生成一个 token，都需要重新执行一次模型前向传播。即使 batch 较小、每步计算量有限，系统仍然必须加载大量权重和历史 KV cache。对在线服务而言，这意味着延迟不只取决于矩阵乘法速度，也取决于每一步从显存搬运多少字节。 应用趋势进一步放大了问题。长上下文模型、检索增强生成、多轮对话、代码代理、工具调用和复杂推理都要求模型保留越来越多历史 token。短上下文时，模型权重通常是主要内存占用；上下文拉长后，KV cache 很快成为主导项。论文用 LLaMA-7B 的示例展示，当序列长度从 512 扩展到 128K 时，内存压力会从“权重为主”转变为“KV cache 为主”。 这就形成了论文的总体路线：如果瓶颈来自内存，那么算法设计应围绕“少存、少读、读更重要的数据”展开。

二、找到推理瓶颈

第二章从 Transformer 解码结构和 Roofline 模型出发，分析 LLM 推理中计算量、内存访问量和算术强度之间的关系。论文区分了预填充和解码两个阶段：预填充可以并行处理输入序列，通常更接近大矩阵乘法；解码则逐 token 串行进行，容易退化为大量矩阵-向量运算，因此更容易受内存带宽限制。

论文用 Transformer decoder 的计算图说明，每一层都包含 Query、Key、Value 投影、多头注意力、输出投影和前馈网络。对单步解码而言，输入 token 数很少，但需要访问完整权重和历史 KV cache；这使得很多操作无法充分利用 GPU 的峰值计算能力。

作者进一步提出多 regime 分析：当上下文较短时，权重读取是主导；当上下文增长时，KV cache 读取变得越来越重要；当 batch、模型大小和上下文长度共同变化时，系统会在不同瓶颈之间切换。这个分析为后续章节奠定了结构：第三章压缩权重，第四章压缩 KV cache，第五和第六章减少注意力阶段需要加载的 token。

三、压缩模型权重

第三章提出 SqueezeLLM，用 Dense-and-Sparse Quantization 压缩模型权重。权重量化的目标很直接：降低模型参数占用，减少推理时从显存读取的字节数，从而在容量受限或带宽受限场景中提升可部署性和吞吐。

普通均匀量化的问题在于，它默认所有权重值都同等重要。但 LLM 权重分布中往往存在更敏感的值和离群值，直接低比特压缩会显著损害模型输出。SqueezeLLM 的两个关键设计是：一是基于敏感度的非均匀量化，把量化桶更密集地分配给重要取值；二是 Dense-and-Sparse 分解，把大部分权重用低比特密集格式表示，同时保留少量敏感值或离群值为稀疏高精度项。 这种设计的含义是，系统不再把所有参数“一刀切”压缩，而是把有限的精度预算分给最影响输出质量的部分。对推理系统而言，这不仅降低显存占用，也减少每次解码需要加载的权重字节数；对模型质量而言，它避免了低比特量化常见的困惑度急剧上升。 这一章的启发是：权重量化不是单纯的数值格式替换，而是需要结合模型敏感性、离群值结构和底层 kernel 实现共同设计。只有当压缩格式能被硬件高效读取和计算时，量化才会真正转化为推理收益。

四、量化长上下文 KV Cache

当上下文长度不断增长时，权重不再是唯一大头。每一层注意力都需要缓存历史 token 的 Key 和 Value，用于后续 token 的生成。序列越长、batch 越大、层数和 head 数越多，KV cache 的内存占用就越高。第四章提出 KVQuant，研究如何量化 KV cache activation，从而支持更长上下文的推理。

KV cache 量化与权重量化并不完全相同。权重是静态的，可以离线分析和压缩；KV cache 是推理过程中动态产生的 activation，分布会随层、head、token 位置和 RoPE 等机制变化。论文因此重点分析 Key/Value activation 的分布特征，并讨论在量化前后如何处理离群值、通道差异和位置编码影响。 KVQuant 的核心目标是让长上下文推理不被 KV cache 容量直接卡死。论文图示中，LLaMA-7B 在 128K 序列长度下，KV cache 可占到主要内存；通过 3-bit 量化，缓存 activation 的内存足迹可大幅降低，同时控制困惑度退化。对服务系统而言，这类方法可以把“可容纳上下文长度”和“并发请求数”同时向上推。 这一章也揭示了长上下文系统的关键约束：长上下文不仅贵在预填充计算，更贵在后续每个 token 都要反复访问庞大的历史缓存。如果不压缩或筛选 KV cache，长上下文会持续吞噬显存带宽。

五、只加载重要上下文

第五章从另一条路出发：既然注意力并非对所有历史 token 都同等依赖，能否只加载当前 query 真正需要的 Key？Squeezed Attention 针对固定上下文处理场景提出这一想法。典型场景包括大量请求共享同一长文档、系统提示、代码库或知识库前缀；这些上下文可以在离线阶段预处理。 论文的做法是先根据语义相似性对固定上下文的 Key 进行聚类，并用 centroid 表示簇。在线推理时，模型先把当前 query 与粗粒度 centroid 比较，定位可能重要的簇，再逐层细化到更小簇，最终只对检索出的重要 Key 计算精确注意力。

这相当于把“全量扫描历史 token”改造成“层级检索 + 局部精确计算”。它的优势在于没有简单丢弃上下文，而是根据当前 query 动态决定哪些 token 值得加载。与固定稀疏模式相比，Squeezed Attention 更强调语义相关性；与完全注意力相比，它显著减少了 KV cache 读取和注意力计算。 这一章特别贴近现实部署。许多企业和科研助手类应用会让大量用户共享同一文档集合或系统上下文。如果每个请求都重复读取全部上下文，成本会非常高；如果能对共享前缀离线建索引，在线只读取最相关 token，就能把长上下文能力转化为更可承受的服务成本。

六、高效推理中的 Multipole Attention

第六章提出 Multipole Attention，进一步面向长链推理场景优化注意力。与 Squeezed Attention 只对重要 token 做精确注意力不同，Multipole Attention 的思想更像一种分层近似：距离当前 query 更近或更重要的 Key 保持精确计算；更远、贡献较分散的 Key 则用代表性 centroid 近似其注意力贡献。

这种设计试图解决一个微妙矛盾：如果只保留少数 token，可能丢失全局上下文；如果保留全部 token，内存带宽和运行时成本又过高。Multipole Attention 的折中是，对局部重要信息精确处理，对远处信息以簇级代表近似处理。这样模型仍能利用全序列中的背景信息，但不必为每个 token 都付出同等精确注意力成本。 论文还讨论了系统实现，包括稀疏 FlashDecoding、centroid 查找、centroid 替换和快速簇更新等模块。在 Qwen3-8B 上的 A6000 GPU 实验中，作者展示了在不同 batch size 下的注意力运行时加速；当稀疏比例提高时，注意力延迟相对 baseline 明显下降。

对推理型 LLM 来说，这一点很关键。长链思考会持续生成新 token，历史缓存也会越来越长。如果每一步都对完整历史做标准注意力，成本会随生成过程不断累积。Multipole Attention 把“历史越长越贵”的问题转化为“重要部分精确、其余部分近似”，更适合长输出和推理密集型任务。

七、总结与未来方向

整篇博士论文可以概括为一句话：LLM 推理的内存效率，必须从算法、数值表示和系统实现三个层次共同优化。论文先证明自回归解码的核心瓶颈来自内存带宽与缓存访问，再分别提出四类对应方案。 第一，SqueezeLLM 压缩模型权重，降低短上下文和权重主导场景中的显存与带宽压力。第二，KVQuant 压缩长上下文中的 KV cache activation，使更长上下文和更高并发成为可能。第三，Squeezed Attention 对共享固定上下文建立层级索引，只加载当前 query 需要的 token。第四，Multipole Attention 在复杂推理中用精确注意力和聚类近似结合，减少长生成过程中的注意力运行时。 这套研究路线也提示了未来 LLM 系统的几个方向。首先，内存层次结构会成为模型服务设计的中心问题，显存容量、带宽、片上缓存和多 GPU 互联都需要被算法显式感知。其次，量化不应只追求更低 bit，而要围绕敏感性、离群值、动态 activation 和 kernel 友好格式设计。再次，长上下文不能只靠扩大窗口，还需要检索、聚类、稀疏化和近似注意力共同降低每步访问成本。 更重要的是，推理工作负载正在变化。过去的 benchmark 更多关注短问答和单轮生成；现在的 agent、代码助手、研究助手和长链推理任务，会让模型长时间保持上下文并持续生成。这样的系统中，真正昂贵的不只是“模型有多大”，而是“每生成一个 token 需要搬动多少数据”。这也是这篇博士论文最值得关注的地方：它把大模型推理从单个算法问题，重新放回到内存墙、服务成本和系统可扩展性的框架中理解。