本文深入分析了大型语言模型(LLM)推理与传统机器学习(ML)推理的核心差异。LLM面临可变长度输入输出导致的GPU效率问题，通过连续批处理解决；预填充-解码两阶段资源需求不同，采用GPU池分离策略；KV缓存管理需应对内存碎片化，Paged Attention提供解决方案；前缀感知路由确保分布式系统中缓存复用；MoE模型需专家并行策略处理复杂路由问题。这些技术共同构成了高性能LLM推理引擎的基础。
常规ML推理 vs. LLM推理
大型语言模型推理相比常规机器学习推理，面临着一系列独特挑战。因此，专门的高性能LLM推理引擎应运而生，例如vLLM、LMCache、SGLang和TensorRT LLM。
LLM（大型语言模型）是基于深度学习的模型，专门用于处理和生成人类语言，如GPT系列，其参数规模巨大，推理复杂度高，超出基础数学涵盖的范围。
今天，我们就来深入探索这些挑战及其解决方案！
连续批处理
传统模型，例如卷积神经网络，拥有固定大小的图像输入和固定长度的输出（如分类标签），这使得批处理变得轻而易举。
CNN（卷积神经网络）是一种常用于图像识别的深度学习模型，通过卷积操作提取特征；批处理（batching）是一种将多个输入样本组合成一个批次进行并行处理的技术，以提高计算效率，属于机器学习基础概念。
然而，大型语言模型（LLMs）处理可变长度的输入（提示）并生成可变长度的输出。
|
可变长度输入和输出意味着每个输入提示的长度（如单词数）和生成文本的长度都可能不同，这与传统机器学习模型固定维度的输入输出不同，增加了推理复杂性。
因此，如果批量处理一些请求，所有请求的完成时间都会不同，GPU必须等待最长的请求完成后才能处理新请求。这会导致GPU出现空闲时间：
|
连续批处理解决了这个问题。
系统不再等待整个批次完成，而是监控所有序列，并将完成（<EOS>标记）的序列与新查询进行交换：|
<EOS>标记是“End of Sequence”的缩写，表示序列结束，用于指示大语言模型停止生成，常见于文本生成任务中。
这使得GPU管道保持满载，从而最大化利用率。
预填充-解码分解
大型语言模型推理是一个两阶段过程，各阶段有根本不同的资源需求。
- 预填充阶段一次性处理所有输入提示令牌，因此这是计算密集型的。
- 解码阶段自回归地生成输出，这要求低延迟。
自回归生成是指模型生成输出序列时，每一步都依赖于之前生成的令牌，类似于逐词预测过程，在语言模型生成任务中常见。
|
在GPU上同时运行这两个阶段意味着计算密集的预填充请求会干扰低延迟需求的解码请求。
预填充-解码分解通过为预填充阶段分配一个专用的GPU池，并为解码阶段分配另一个池来解决这个问题。
|
相比之下，标准机器学习模型通常只有一个统一的计算阶段。
GPU内存管理与KV缓存
生成一个新token会使用所有先前token的key和value向量。为了避免为所有token反复重新计算这些向量，我们缓存它们（）：
注：在大型语言模型中，"key"和"value"向量是注意力机制的核心组件，用于计算token之间的相关性；"KV缓存"是一种优化技术，通过存储这些向量来加速自回归解码过程，减少计算开销。
这个KV缓存会随着对话历史的总长度线性增长。
但在许多工作流中，像系统提示这样的输入在多个请求之间是共享的。因此，我们可以通过在所有聊天中复用这些KV向量来避免重新计算它们：
|
KV缓存是大型语言模型（如Transformer）中用于加速推理的技术，通过缓存自注意力机制中的键（Key）和值（Value）向量，避免对相同输入进行重复计算。
然而，KV缓存占用大量内存，因为它存储在连续块中。这不仅浪费GPU内存，还会导致内存碎片化：
内存碎片化：在计算机内存管理中，碎片化指的是内存被分割成不连续的小块，导致即使总空闲内存足够，也无法分配大块连续内存的现象。在GPU环境下，这可能降低内存使用效率并影响性能。
Paged Attention通过将KV缓存存储在非连续块中，并使用查找表来追踪这些块，从而解决了这个问题。大语言模型只需加载它所需的块，而不是一次性加载所有内容。
注：KV缓存指的是注意力机制中的键（Key）和值（Value）缓存，用于存储中间计算结果以加速推理。Paged Attention借鉴了操作系统中的分页思想，将缓存分割成小块，以灵活管理内存并减少碎片。
我们将在另一期中详细介绍Paged Attention。
前缀感知路由
为了扩展标准的机器学习模型，你可以简单地将模型复制到多个服务器或GPU上，并使用简单的负载均衡方案，如轮询（Round Robin）或路由到最不繁忙的服务器。
注：轮询（Round Robin）是一种基本的负载均衡算法，依次将请求分配给服务器列表中的每个服务器；路由到最不繁忙的服务器则根据服务器的当前负载动态分配请求。
由于每个请求都是独立的，这种方法效果很好。
但大语言模型严重依赖缓存（如前面讨论的共享KV前缀），因此请求不再独立。
如果一个新查询带有已在Replica A上缓存的共享前缀，但路由器将其发送到Replica B（后者较不繁忙），那么Replica B就需要重新计算整个前缀的KV缓存。
注：在分布式系统中，副本（Replica）指的是同一模型的多个实例，部署在不同服务器或GPU上以并行处理请求。
前缀感知路由解决了这个问题。|
不同的开源框架各自拥有针对前缀感知路由的实现。
通常，前缀感知路由要求路由器维护一个映射或表（或使用预测算法），以追踪哪些KV前缀当前缓存在哪个GPU副本上。当新查询到达时，路由器将查询发送到已经缓存了相关前缀的副本。
KV前缀是指大语言模型中注意力机制中Key-Value缓存的起始部分，常用于共享上下文。GPU副本指在分布式训练或推理中，模型被复制到多个GPU上以并行处理请求。
模型分片策略
有几种策略可以扩展密集ML模型（）：|
大型语言模型（LLMs），例如混合专家模型（MoE），相当复杂。
|
混合专家模型（MoE）是一种机器学习架构，它使用多个专门化的子网络（专家）来处理不同数据模式，并通过路由机制动态分配输入，以增强模型性能和可扩展性，这超出了基础数学的范畴。
MoE模型采用一种称为专家并行的专用并行策略，该策略将专家本身分布到不同的设备上，而注意力层则在所有GPU上进行复制：|
专家并行是混合专家模型中的一种并行化技术，旨在通过将模型的不同部分（专家）分配到多个计算设备（如GPU）上，以提高训练效率。注意力层是Transformer架构的核心组件，用于计算输入序列中不同位置之间的相关性，从而处理自然语言等序列数据。
因此，每个GPU只存储部分专家的完整权重，而不是全部。这就意味着，每个GPU只处理分配给存储在该GPU上的专家的令牌。
现在，当查询到来时，MoE层中的门控网络会根据哪些专家被激活，动态决定查询应该去哪个GPU。
这是一个复杂的内部路由问题，不能像简单的复制模型那样处理。你需要一个先进的推理引擎来管理分片专家池中的计算动态流。
👉 大家来思考一下：大型语言模型推理与常规推理还有哪些其他差异？
这里的“分片专家池”指的是专家模型被分割并分布到多个计算设备（如GPU）上的集合，以实现并行处理；“内部路由问题”涉及在分布式系统中如何动态地将输入数据高效分配到正确的专家进行处理，这需要专门算法来优化计算资源的使用。
最后
我在一线科技企业深耕十二载，见证过太多因技术卡位而跃迁的案例。那些率先拥抱 AI 的同事，早已在效率与薪资上形成代际优势，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在大模型的学习中的很多困惑。
我整理出这套 AI 大模型突围资料包：
- ✅AI大模型学习路线图
- ✅Agent行业报告
- ✅100集大模型视频教程
- ✅大模型书籍PDF
- ✅DeepSeek教程
- ✅AI产品经理入门资料
完整的大模型学习和面试资料已经上传带到CSDN的官方了，有需要的朋友可以扫描下方二维码免费领取【保证100%免费】👇👇
为什么说现在普通人就业/升职加薪的首选是AI大模型？
人工智能技术的爆发式增长，正以不可逆转之势重塑就业市场版图。从DeepSeek等国产大模型引发的科技圈热议，到全国两会关于AI产业发展的政策聚焦，再到招聘会上排起的长队，AI的热度已从技术领域渗透到就业市场的每一个角落。
智联招聘的最新数据给出了最直观的印证：2025年2月，AI领域求职人数同比增幅突破200%，远超其他行业平均水平；整个人工智能行业的求职增速达到33.4%，位居各行业榜首，其中人工智能工程师岗位的求职热度更是飙升69.6%。
AI产业的快速扩张，也让人才供需矛盾愈发突出。麦肯锡报告明确预测，到2030年中国AI专业人才需求将达600万人，人才缺口可能高达400万人，这一缺口不仅存在于核心技术领域，更蔓延至产业应用的各个环节。
资料包有什么？
①从入门到精通的全套视频教程⑤⑥
包含提示词工程、RAG、Agent等技术点
② AI大模型学习路线图（还有视频解说）
全过程AI大模型学习路线
③学习电子书籍和技术文档
市面上的大模型书籍确实太多了，这些是我精选出来的
④各大厂大模型面试题目详解
⑤ 这些资料真的有用吗?
这份资料由我和鲁为民博士共同整理，鲁为民博士先后获得了北京清华大学学士和美国加州理工学院博士学位，在包括IEEE Transactions等学术期刊和诸多国际会议上发表了超过50篇学术论文、取得了多项美国和中国发明专利，同时还斩获了吴文俊人工智能科学技术奖。目前我正在和鲁博士共同进行人工智能的研究。
所有的视频教程由智泊AI老师录制，且资料与智泊AI共享，相互补充。这份学习大礼包应该算是现在最全面的大模型学习资料了。
资料内容涵盖了从入门到进阶的各类视频教程和实战项目，无论你是小白还是有些技术基础的，这份资料都绝对能帮助你提升薪资待遇，转行大模型岗位。
智泊AI始终秉持着“让每个人平等享受到优质教育资源”的育人理念，通过动态追踪大模型开发、数据标注伦理等前沿技术趋势，构建起"前沿课程+智能实训+精准就业"的高效培养体系。
课堂上不光教理论，还带着学员做了十多个真实项目。学员要亲自上手搞数据清洗、模型调优这些硬核操作，把课本知识变成真本事！
如果说你是以下人群中的其中一类，都可以来智泊AI学习人工智能，找到高薪工作，一次小小的“投资”换来的是终身受益！
应届毕业生：无工作经验但想要系统学习AI大模型技术，期待通过实战项目掌握核心技术。
零基础转型：非技术背景但关注AI应用场景，计划通过低代码工具实现“AI+行业”跨界。
业务赋能 突破瓶颈：传统开发者（Java/前端等）学习Transformer架构与LangChain框架，向AI全栈工程师转型。
👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓**
