大语言模型的推理成本，正在成为决定其能否从演示走向规模化部署的核心变量。一个参数规模达到数百亿的模型，单次生成可能涉及数十次前向传播，每一次都需要将全部权重从显存搬运到计算单元。当并发请求数量上升时，这种重复的权重搬运会迅速耗尽显存带宽，使图形处理器的计算单元陷入饥饿状态。推理慢的根源，在多数情况下不是算力不够，而是数据搬运的速度跟不上计算的速度。
这一判断有一个清晰的量化依据。根据roofline模型的分析，大语言模型推理的算术强度大约在每字节一到两次浮点运算的量级，而现代图形处理器的拐点通常在每字节一百到两百次浮点运算之间。算术强度远低于拐点，意味着推理处于严重的内存受限区间，性能上限由显存带宽而非峰值算力决定。这个结构性的约束，构成了理解所有推理优化技术的起点。
2025年的一篇系统性综述将推理优化技术划分为三个领域：计算、内存和系统级增强，涵盖注意力机制改进、KV缓存优化、高效解码策略、批处理技术和模型压缩方法。这三个领域并非彼此独立，它们共同回应的是同一个底层矛盾：自回归解码的串行性、键值缓存随上下文线性增长的显存占用、以及模型权重的庞大体积，三者叠加使推理系统在延迟和吞吐之间陷入两难。
本文沿着这一矛盾展开，先拆解推理过程的时间分配与内存瓶颈，再逐层分析量化、KV缓存管理、投机解码、长上下文稀疏化、MoE效率与分布式并行等优化路径的技术逻辑与量化效果，最后讨论这些技术之间的相互制约关系，以及在实际部署中如何进行取舍与组合。
第一章 推理的时间结构
1.1 两个阶段的本质差异
大语言模型的推理分为两个阶段，它们的计算特征截然不同。预填充阶段处理用户输入的完整提示，所有词元可以并行计算注意力，矩阵乘法的规模大、算术强度高，计算单元能够得到较充分的利用。解码阶段逐词元生成输出，每生成一个新词元都需要与之前所有词元的键值缓存做注意力计算，但单次前向只处理一个词元，权重的加载量与计算量之比极高，系统从计算受限滑入内存受限。
这种不对称意味着，同一个优化技术对两个阶段的效果可能相反。增大批处理规模可以提升预填充阶段的吞吐，但解码阶段的显存占用会随批大小线性增长。降低权重的数值精度可以减少解码阶段的内存搬运量，但可能影响预填充阶段的计算精度。理解优化技术的适用阶段，是避免盲目调优的前提。
1.2 键值缓存的规模效应
键值缓存是解码阶段最核心的数据结构，也是最主要的显存消耗源。它的存在是为了避免每生成一个新词元都重新计算所有先前词元的注意力键和值，但代价是缓存随序列长度线性增长。
以一个700亿参数的模型为例，在FP16精度下，每个词元的键值缓存约为2.5MB，8K上下文对应每个请求约20GB缓存，32个并发批次的总缓存量接近640GB。即使使用H100或H200这类高显存图形处理器，这样的占用也会很快耗尽可用空间。键值缓存的内存消耗在许多生产场景中已经超过了模型权重本身。
键值缓存的管理方式，因此成为区分推理引擎能力的关键。传统推理系统为每个请求预留最大可能序列长度的连续内存块，一个最大上下文为4K的请求即使只生成100个词元，也会占用4K的缓存空间，浪费率超过百分之九十七。碎片化和过度分配合计导致百分之六十到八十的缓存内存被浪费，这种浪费直接转化为吞吐量的下降和上下文长度的限制。
1.3 批处理的调度难题
推理引擎的吞吐量取决于能否将多个请求高效地打包到同一批前向传播中。但请求的到达时间不同，输入长度不同，输出长度也无法预知。如果按请求级别调度，一个长输出的请求会拖住整个批次，短请求完成后也无法释放其占用的批次位置，造成计算资源的闲置。
连续批处理将调度粒度从请求级别下沉到迭代级别。每一轮前向传播结束后，已完成的序列立即退出批次，等待队列中的新请求立即被接纳，批次在每一轮都重新组装。这种迭代级调度使图形处理器的利用率不再受最长请求的约束，而是由所有活跃请求的整体计算需求决定。连续批处理与分页键值缓存是互补的，前者解决调度层面的闲置，后者解决内存层面的浪费。
第二章 以精度换带宽的工程权衡
2.1 量化的本质是减少字节搬运
在内存受限的解码阶段，每个词元的生成时间主要取决于需要搬运的权重字节数。将权重从FP16压缩到FP8或INT4，理论上可以将每次前向的数据搬运量减半或降至四分之一，从而在同样的显存带宽下实现接近线性的加速。
FP8已经成为H100和H200上的生产标准，INT4量化则使700亿参数的模型能够在消费级图形处理器上运行。量化带来的加速不是来自计算能力的提升，而是来自内存带宽压力的缓解。这也是为什么量化对解码阶段的收益通常大于对预填充阶段的收益。
2.2 精度损失的非均匀分布
量化并非无代价的压缩。不同层、不同通道对数值精度的敏感度差异很大，统一的低精度量化可能在某些关键位置引入显著的误差。混合精度量化试图回应这一问题，对权重采用INT4而激活采用FP8动态量化的方案，在DeepSeek模型上相比FP8量化实现了2.7倍到3.9倍的推理性能提升。
FP8在精度上的损失通常较小。以Phi-4-mini-instruct为例，FP8量化版本在13项任务上的平均得分为55.11，而BF16基线为55.35，差距在千分之四左右。这种微小的精度衰减在许多应用场景中可以接受，但INT4量化的精度损失会显著增大，需要在部署前进行针对性的任务评估。
2.3 量化与KV缓存的交叉
量化不仅适用于模型权重，也适用于键值缓存。2025年各大学术会议的论文趋势显示，键值缓存压缩是推理效率领域的主导主题，每个会议都有八到十二篇关于驱逐、量化、低秩投影或稀疏表示的论文，领域正在向2到4比特的键值缓存收敛。将键值缓存量化到低比特，可以在不增加显存占用的前提下支持更长的上下文或更大的批次，但它对注意力计算精度的影响需要通过任务级评估来确认。
第三章 键值缓存管理
3.1 分页注意力消除碎片
分页注意力的核心思想借鉴了操作系统的虚拟内存管理。它将键值缓存划分为固定大小的块，序列的逻辑位置通过块表映射到非连续的物理块，随着序列增长按需分配新块，序列结束时释放全部块。序列看到的是连续的逻辑地址空间，物理存储则可以是碎片化的。
这一设计将键值缓存的内存浪费从百分之六十到八十降至百分之四以下，吞吐量相比传统连续分配提升2到4倍，显存利用率从百分之二十到四十提升到接近百分之九十，可同时服务的并发请求数增加3到4倍。Stripe的实践数据提供了一个生产侧的参照：迁移至vLLM后，在三分之一的图形处理器集群上处理每日五千万次接口调用，推理成本降低百分之七十三。
3.2 前缀共享与缓存复用
分页机制的另一项收益是前缀共享。当多个请求使用相同的系统提示或共享相同的对话前缀时，存储这些词元的物理页面可以被多个请求共享，而不需要为每个请求复制一份。内容哈希的块级前缀共享进一步扩展了这一能力，对每个完整的缓存块计算内容哈希，相同哈希的块在不同请求甚至不同会话之间复用。
前缀缓存的价值取决于工作负载的特征。在系统提示较长、多轮对话共享历史、或多请求复用同一模板的场景中，前缀缓存可以显著减少预填充阶段的重复计算。但在每个请求的提示都完全不同的场景中，前缀共享的命中率很低，其收益有限。
3.3 跨设备的缓存分布
当模型规模超出单卡显存时，键值缓存必须跨设备分布。张量并行是单机内最常用的策略，它将每一层的权重矩阵切分到多个图形处理器上，每个设备计算一部分注意力头。以Llama-3-70B为例，其8个键值头在张量并行度为8时，每个设备恰好持有一个键值头的缓存。
但张量并行下的键值缓存分布存在一个固有矛盾。分组查询注意力或多头潜在注意力通过减少键值头的数量来压缩缓存，但在张量并行中，注意力头被分散到多个设备上，每个设备仍然需要加载完整的压缩表示，这在一定程度上侵蚀了压缩带来的优势。KV并行作为一种独立的分布维度被提出，将序列维度而非头维度作为切分依据，在长上下文工作负载上，张量与KV并行的混合策略相比纯张量并行实现了最高1.86倍的吞吐提升，同时在NVLink互连上保持了低于三十微秒的通信延迟。
分布式键值缓存的核心挑战在于通信开销与内存效率之间的平衡。张量并行在解码每一步都需要在设备之间做全归约或全收集操作，通信量与隐藏层维度和批大小成正比。序列并行和KV并行通过改变切分维度来降低通信频率，但可能引入其他的协调成本。并行策略的选择，本质上是在模型的层结构、注意力机制和互连拓扑之间寻找匹配。
第四章 投机解码
4.1 起草与验证的基本机制
自回归解码的串行性是延迟的另一个根源。每生成一个词元，都需要完整加载一遍权重，计算单元的利用率很低。投机解码的思路是用一个便宜的草稿模型一次猜测多个候选词元，然后用目标模型的一次前向并行验证所有候选，猜对的部分直接接受，猜错的位置从目标模型的真实分布重新采样。
关键的技术细节在于验证不是简单的对错判断，而是对每个草稿词元按照目标模型的分布做拒绝采样修正。这一修正过程保证了投机解码的输出分布与目标模型逐词元生成完全一致，是比特精确的等价，而不是近似。这一性质使投机解码在理论上不牺牲输出质量，其收益完全来自并行验证对串行生成的替代。
4.2 加速比的三个决定变量
投机解码的加速幅度取决于三个变量：草稿模型的接受率、猜测长度和草稿相对目标的成本比。代入典型值，接受率零点七、猜测长度四、成本比零点一，加速约两倍。接受率越高、猜测越长、草稿越便宜，加速越显著。
2026年的主流方案在起草策略上出现了分化。EAGLE-3使用目标模型的深层隐藏状态训练草稿头，接受率达到百分之七十到七十八。Medusa-V2在目标模型上挂载多个预测头同时猜测多个未来位置，接受率百分之六十到七十，部署更简单。MTP在训练阶段就让模型学会一次预测多个词元，接受率超过百分之八十，但需要重新训练模型。自推测方案用模型自身前面的词元作为草稿，零额外内存，接受率约百分之四十到五十五。
Domino框架将因果依赖建模与自回归起草解耦，先用并行主干产生整个块的初步草稿分布，再用轻量级因果细化头利用前缀信息进行修正，在Qwen3模型上实现了端到端最高5.49倍加速和SGLang服务下最高5.8倍的吞吐加速。
4.3 投机解码的失效边界
投机解码不是普适的加速手段。高温采样场景下草稿模型与目标模型的分歧增大，接受率会显著下降。长上下文场景中接受率也随上下文变长而衰减。当草稿模型的成本占比过高时，例如用7B草稿配70B目标，投机解码的净收益可能为负。
一个真实的生产案例提供了重要的参照。PayPal在电商智能体场景中实测EAGLE-3，吞吐提升两到五成、延迟降低两到三成、输出质量无损，一张H100用投机解码追平了两张H100跑NVIDIA NIM的性能。但该场景的接受率只有三成多，远低于通用基准的百分之七十以上，说明投机解码的收益高度依赖领域特性，必须基于真实负载进行测量。
第五章 长上下文的注意力重构
5.1 二次复杂度的根本约束
标准注意力机制的计算复杂度与序列长度呈二次关系，这使长上下文成为推理成本的非线性放大器。RingAttention等稀疏注意力机制通过将注意力限制在局部邻域来降低计算成本，但局部邻域的接受野有限，缺乏对远距离词元的适应性覆盖。
长上下文优化的核心矛盾在于：稀疏化可以降低单层的计算量，但稀疏模式的设计决定了信息能否有效传播到远处。过度稀疏会损害模型对长距离依赖的建模能力，不够稀疏则无法解决二次复杂度的成本问题。
5.2 周期稀疏与线性注意力的混合
π-Attention提出了一种周期稀疏结构，将注意力分解为环形局部邻域、确定性的周期跳跃和自适应融合门。周期跳跃以固定步长覆盖远处的词元，使接受野的增长从RingAttention的线性形式扩展为线性加周期对数的形式。在语言建模、检索和视觉语言任务上，π-Attention在相同上下文长度下使用少百分之五十的图形处理器，困惑度比RingAttention低百分之八点三。
另一条路径是线性注意力与softmax注意力的混合架构。Ring-linear系列模型同时包含线性注意力层和softmax注意力层，利用线性注意力的线性复杂度处理长序列的主体计算，用少量softmax注意力层维持关键的精确检索能力。这种混合设计试图在效率和质量之间找到比纯稀疏化更平滑的折中点。
5.3 分布式块稀疏的计算优化
在分布式环境中，块稀疏注意力的计算效率还受到设备间通信的制约。分组计算策略将数据和设备划分为相同数量的组，在不同组内执行独立的环形注意力，减少跨组通信。对于更复杂的稀疏模式，分解计算将垂直稀疏和斜线稀疏拆分为独立子任务，斜线部分实现无通信的本地计算，垂直部分通过去除无关键值块的通信来加速。实验显示这类分布式优化在Atrous稀疏设置下实现了3到10.9倍的性能提升。
第六章 MoE的效率悖论与分布式并行
6.1 稀疏激活的双面性
混合专家架构通过稀疏路由，使每个词元只激活一小部分专家，从而在扩大总参数容量的同时控制单次前向的计算量。这一设计在训练和推理的理论计算效率上具有优势，但它引入了一个新的瓶颈：内存容量与内存带宽。
MoE模型需要保留全部专家的参数，即使单次推理只用到其中一部分。专家权重在显存中的驻留占据了大量空间，而解码阶段每个词元的路由结果不同，导致不同专家的权重被频繁换入换出。专家权重的传输量，而非计算量，成为MoE推理的主要瓶颈。
6.2 专家压缩与路由优化
应对MoE效率悖论的思路可以分为压缩和调度两个方向。
在压缩方向，专家感知的自适应压缩框架利用路由的异质性，对不同专家施加差异化的结构化稀疏，在保持路由行为的前提下减少专家权重的存储占用。双路由与动态调度框架在算法与系统协同层面，根据任务需求动态分配激活专家的位宽，在设备端实现精度与效率的匹配。相似性专家重路由方法在批量解码中识别路由结果的相似性，对相似的专家请求进行合并或重路由，减少重复的权重加载。
在调度方向，MoE的并行策略从单纯的张量并行扩展到张量并行与专家并行的混合。专家并行将不同专家放置在不同设备上，每个设备只负责一部分专家的计算，词元根据路由结果在设备之间分发和聚合。MixServe等系统针对MoE模型设计了基于融合通信算法的张量并行与专家并行混合方案，在内存约束下实现自动化的分布式服务编排。
6.3 并行策略的组合空间
分布式推理的并行策略已经形成了一个多维度的组合空间。张量并行切分单层的权重，流水线并行切分模型的层，专家并行切分MoE的专家池，序列并行或KV并行切分注意力计算的序列维度，数据并行复制整个模型以处理不同的请求批次。
这些维度之间不是独立可加的。张量并行增加通信频率，流水线并行增加气泡，专家并行增加路由和聚合开销，KV并行减少单设备缓存但可能引入跨设备的注意力协调。混合并行的目标，是在给定互连拓扑和模型结构下，找到通信开销、内存占用和计算效率之间的最优组合。NVIDIA Dynamo、Mooncake、LMCache和Helix Parallelism等系统在2025到2026年的研究，正是在这个组合空间中探索不同负载下的最优配置。
第七章 推理引擎
7.1 引擎作为集成层
单项优化技术只有在推理引擎中被正确组合和调度，才能转化为端到端的性能收益。2025年的一篇综述对25个开源和商业推理引擎进行了系统评估，从易用性、部署难度、通用支持、可扩展性以及对吞吐和延迟的适配性等维度进行了比较，并考察了每个引擎所支持的优化技术组合。
推理引擎的核心职责，是将量化、分页缓存、连续批处理、投机解码、前缀共享和并行策略等能力编排为一个协调运转的系统。引擎的设计选择决定了哪些技术可以组合使用、在什么条件下组合，以及组合后的副作用如何被监控和补偿。
7.2 预填充与解码的分离调度
预填充和解码对资源的需求不同，混合调度会导致相互干扰。预填充是计算密集的，长预填充会占住计算单元，推迟解码步骤，增加解码的尾延迟。解码是内存密集的，大解码批次会占用大量显存带宽，拖慢预填充的完成。
分离式调度将预填充和解码部署到不同的资源池，或者在同一集群中通过调度策略将两者在时间上错开。预填充节点专注于高吞吐的并行计算，解码节点专注于低延迟的逐词元生成。分离式架构的代价是中间状态需要在资源池之间传输，键值缓存的迁移成为新的开销来源，但它换来了两种负载各自在最优资源形态上运行的自由度。
7.3 引擎选型的实践维度
推理引擎的选型不是寻找功能列表最长的产品，而是匹配团队的工作负载特征和运维能力。以延迟为优先的场景需要关注单请求的端到端响应，引擎的解码优化、投机解码支持和缓存命中率是核心指标。以吞吐为优先的场景需要关注单位时间内的总词元产出，连续批处理的效率、分页缓存的利用率和并行策略的扩展性是关键。
硬件的多样性也是一个现实约束。不同引擎对NVIDIA、AMD、Apple Silicon和专用加速器的支持程度不同，量化格式的可用性也不同。FP8在H100和H200上是生产标准，但旧一代图形处理器可能不支持FP8张量核心，INT4的适用性更广但精度损失更大。引擎的硬件适配成熟度，往往比理论上的最优算法选择更能决定实际的部署效果。
第八章 优化技术的相互制约与组合原则
8.1 量化与投机解码的交互
量化减少的是内存带宽压力和显存占用，投机解码减少的是串行生成的计算步骤。两者在理论上可以叠加，但存在一个需要警惕的交互效应。投机解码的草稿模型如果也被量化，其与目标模型分布之间的偏差会增大，接受率可能下降。草稿模型和目标模型的量化精度需要分别评估，不能假设量化对两者的影响是同向的。
8.2 缓存压缩与长上下文的张力
键值缓存压缩使更长的上下文成为可能，但压缩本身会引入信息损失。将缓存量化到2到4比特可以显著扩大可服务的上下文窗口，但压缩误差在长序列的注意力累积中可能被放大。长上下文的优化需要在缓存压缩率和注意力计算精度之间建立可验证的平衡，而不是单向追求更低的比特数。
8.3 并行策略与通信拓扑的匹配
张量并行的效率取决于设备间互连的带宽和延迟。在NVLink互连的同节点内，张量并行的通信开销可以被相对充分地隐藏。跨节点的以太网互连带宽低一个数量级，张量并行的通信开销可能成为瓶颈，此时流水线并行或专家并行可能更合适。并行策略的选择不能脱离硬件拓扑，最优策略是拓扑的函数，而不是一个固定的配置。
8.4 系统级协同的原则
这些制约关系指向一个共同的原则：推理优化不是单项技术的最大化，而是多项技术在特定工作负载和硬件条件下的协同匹配。一个在基准测试中提升数倍的技术，在另一个负载中可能因为与现有优化冲突而收益甚微。2025年ACL的一项研究显示，恰当的推理优化组合相比朴素服务可以将能耗降低最高百分之七十三，但这个数字的前提是优化与负载的匹配，而不是优化的堆叠。
结语
大语言模型的推理优化，正在从一组离散的技巧演变为一个系统化的工程学科。内存墙是这一学科的出发点：解码阶段的算术强度远低于图形处理器的拐点，性能由带宽而非算力定义。量化、分页缓存、连续批处理、投机解码、稀疏注意力和并行策略，都是对这一约束的不同维度的回应，它们分别作用于权重搬运、缓存碎片、批次闲置、串行依赖、二次复杂度和单设备容量。
这些技术之间的关系是相互制约的。量化改变内存占用，进而影响投机解码的接受率和缓存压缩的可用空间。并行策略改变通信模式，进而影响预填充和解码的调度自由度。缓存管理改变显存布局，进而影响批处理规模和上下文长度。没有任何一项优化可以在不影响其他维度的前提下独立取得最优。
因此，推理优化的核心能力，不是记住某项技术的加速倍数，而是理解工作负载的特征、硬件的约束和各项技术之间的耦合关系，并在给定的成本边界内找到匹配的组合。当分页缓存将内存浪费降至百分之四以下，当投机解码在合适的负载上实现两倍吞吐，当张量与KV并行的混合策略在长上下文上比纯张量并行高出近一倍吞吐时，这些数字的意义不在于它们各自有多高，而在于它们被正确组合时能够把推理的经济性推向一个新的水平。推理优化的终点，不是某一个最优算法，而是一套能够随负载和硬件持续调优的系统方法。
