写在前面
欢迎大家关注Rocky的知乎：Rocky Ding
《三年面试五年模拟》AIGC/LLM/AI Agent算法工程师/开发工程师求职面试秘籍独家资源：【三年面试五年模拟】WeThinkIn/AIGC-Interview-Book，欢迎大家Star～
Rocky最新撰写的10万字AI Agent（AI智能体）深入浅出全维度解析文章：深入浅出完整解析AI Agent（AI智能体）的核心基础知识
AIGC/LLM/AI Agent算法岗/开发岗求职面试内推学习社群（涵盖AIGC、LLM大模型、AI Agent、传统深度学习、自动驾驶、机器学习、计算机视觉、自然语言处理、强化学习、大数据挖掘、具身智能、元宇宙、AGI等AI行业最新面试干货经验与核心知识）欢迎大家加入：https://t.zsxq.com/33pJ0
大家好，我是Rocky。
一个模型能在离线脚本里生成答案，与它能在真实流量下稳定服务，是两项不同的工程成果。前者验证计算图能够运行，后者要求计算、通信、缓存和调度在同一个延迟预算内协作。长上下文、多轮工具调用和多模态输入，把这种区别放大了。
DeepInfer把DeepSeek-V4.1-Flash的一部分生产推理实现开放出来，让开发者能够研究模型结构与服务系统如何共同设计。Rocky认为，DeepInfer最值得研究的是资源组织方式：怎样把已经算过的内容留下，把互相干扰的阶段分开，再把这些选择转化为可测量的合格交付成本。
这也决定了阅读它的顺序。先看请求经过哪些资源，再看单个优化成立的条件，最后讨论吞吐与收入。顺序一旦颠倒，很容易把大集群的运营结果误读成一个软件包的性能承诺。
一、DeepInfer开放了什么，完整服务还缺什么
DeepInfer当前支持DeepSeek-V4.1-Flash，离线示例默认使用DeepSeek-V4.1-Flash-1017权重。公开能力包括优化算子、模型与采样运行时、分布式并行、异步调度、DSpark推测解码、SWA bounded replay，以及正则、JSON Schema和EBNF约束输出。仓库还提供批次不变推理与确定性采样选项，但有硬件和配置条件。
公开硬件路径是NVIDIA SM100与华为Ascend 950。环境要求包括Linux、GCC 13及以上、Python 3.12，NVIDIA路径使用CUDA 13，昇腾路径使用CANN 9.2。这些条件说明它面向特定的新硬件与大规模模型，不能把“有NVIDIA显卡”理解成受支持的部署条件。
DeepInfer代码采用Apache 2.0。伴随开放的deepseek-recipe负责协议与模型编码转换，其代码和公开文档采用MIT许可，两者需要分别识别。框架许可也不能替代所加载权重及其他组件的许可。
完整服务的边界尤其清楚：生产KV Cache系统、视觉编码／Prefill／Decode分离部署，以及Prefill和Decode数据并行副本之间的负载均衡，没有作为可直接复用的完整在线系统全部开放。部分引擎能力已经实现，生产编排与运维仍需要接入方补齐。
| 层次 | 已公开的核心内容 | 接入方仍须验证的结果 |
|---|---|---|
| 模型执行 | 算子、模型运行时、采样与并行 | 在目标硬件上正确运行、数值与质量回归 |
| 阶段协作 | 分离部署所需的多项引擎能力 | 资源分配、队列、传输与故障接管 |
| 状态管理 | 缓存相关机制与生产设计说明 | 持久化、目录服务、命中、回收与恢复 |
| 对外接口 | recipe协议转换与输出解析 | HTTP服务、工具执行、业务策略和观测 |
这里的工程价值很实在：它给出了可研究和适配的官方核心实现。但投入决策仍应按自己的服务边界估算工作量。
二、先拆开E/P/D，再理解吞吐与延迟为什么互相牵制
一个视觉请求先经历Vision Encoder，再进入处理提示的Prefill，最后逐Token Decode。不同阶段处理的对象不同：视觉阶段受图像patch数量影响，Prefill受未缓存输入与上下文长度影响，Decode受并发序列、历史KV长度和逐步生成影响。
图中体现的是官方生产架构，包含没有完整开源的配套服务。入口、负载均衡、计算实例与存储共同组成请求路径，因此不能把架构图中的每个方框都当成仓库里现成的部署模块。
将这些阶段分离，允许分别控制首Token时间TTFT和Token间隔TBT。图片处理不能无限挤占文本生成，长输入也不能在同一个调度队列里反复阻塞短请求。但是，分离会新增传输、排队、状态同步和故障处理，是否划算取决于阶段负载与互连条件。
用于理解延迟的一个简化分解是：
T f i r s t ≈ T q u e u e + T v i s i o n + T c a c h e + T p r e f i l l + T h a n d o f f + T d e c o d e , f i r s t . T_{\mathrm{first}}\approx T_{\mathrm{queue}}+T_{\mathrm{vision}}+T_{\mathrm{cache}}+T_{\mathrm{prefill}}+T_{\mathrm{handoff}}+T_{\mathrm{decode,first}}.Tfirst≈Tqueue+Tvision+Tcache+Tprefill+Thandoff+Tdecode,first.
这是分析框架，部分工作可以重叠，不能直接把每项独立测量值相加当作真实延迟。它提示我们：缩短Prefill算子时间，如果同时增加了缓存等待或跨阶段排队，用户未必更快拿到答案。
官方生产说明给出Prefill采用较小EP/DP、Decode采用Wide-EP的配置思路；当前部署说明称没有使用TP和CP，而仓库能力列表同时包含balanced CP。框架能够支持什么，与某个生产配置实际启用了什么，必须分开读。
三、DeepInfer的Wide-EP：用通信组织换取专家计算效率
MoE只激活一部分专家，节约的是每Token参与的计算量。专家权重仍要放置，Token仍要路由，不同专家收到的负载也不会天然相同。一次生成步的完成时间很容易被最慢的设备拖住。
Wide-EP把更多专家分散到更大的高速互连域内。公开设计中，Decode推荐EP64至EP128；其目标是减少每个设备在专家部分的权重访问压力，并通过更合适的批量改善矩阵计算效率。代价是通信与负载均衡变成系统的一等约束。
这组曲线应连同图中配置阅读。它支持在所测设置下比较EP8和EP64的吞吐／用户速度关系，不能被扩展成“卡数越多，单位成本必然越低”。互连拓扑、专家热度、并发数量、冗余专家和负载迁移都会改变结果。
EPLB通过统计专家负载、保留热门专家冗余副本、周期性重新分配专家，降低最慢rank对整体的拖累。生产说明中Prefill与Decode使用不同的统计窗口和迁移周期，因为两类负载的变化节奏不同。迁移太慢，热点已经造成拥塞；迁移太快，复制权重本身又可能吞掉收益。
另一层均衡发生在请求之间。Decode同时关注运行请求数和总KV长度：前者影响批量，后者影响注意力开销。同样是100个请求，100个短历史与100个超长历史并不是同一种负载。只按请求数平均分配，会隐藏真正的资源倾斜。
对工程团队而言，可迁移的知识是如何刻画负载，而不是某个固定EP数字。它要求把计算、内存、互连和队列观测放在同一张时间线上。
四、缓存的关键选择：复用计算，也复用存储系统的代价
Agent经常重复携带任务说明、工具描述、仓库上下文和前几轮执行结果。KV Cache命中可以减少重复Prefill，但长时间保留缓存并非免费：它占用容量、需要索引和回收，还要被及时送到实际执行的设备。
DeepInfer的生产设计将block KV放在独立3FS存储集群，将部分SWA状态保存在计算机器的主机内存。集中存储使Prefill机器能够命中任意前缀，从而减少“为了命中缓存必须把请求送到某台忙机器”的冲突。计算扩缩容也不必同步销毁全部持久缓存。
这种设计解决了一类路由问题，同时引入了新的I/O问题。公开说明把命中匹配、拉取到共享内存、搬入HBM区分开：匹配长度需要在路由前确定，不能全部隐藏；拉取和逐层传输则尽可能与计算重叠。实际收益应看命中后的端到端时间，不能只统计缓存命中率。
一个可用于容量规划的近似关系是：
C r e q u e s t ≈ ( 1 − h ) C p r e f i l l + h C h i t + C d e c o d e + C s t o r a g e + C o p e r a t i o n . C_{\mathrm{request}}\approx(1-h)C_{\mathrm{prefill}}+hC_{\mathrm{hit}}+C_{\mathrm{decode}}+C_{\mathrm{storage}}+C_{\mathrm{operation}}.Crequest≈(1−h)Cprefill+hChit+Cdecode+Cstorage+Coperation.
这里h hh代表给定流量分布下的有效复用比例，其他项是按请求分摊的成本，不能直接代入Token命中率就声称得到了财务成本。模型表达的是判断方向：保留更久带来的新增复用价值，必须覆盖新增存储、传输和运维支出。
官方生产说明报告Agent流量与聊天流量使用不同保留策略。这提醒我们，TTL首先是业务历史再访问分布的问题。对从不重访的上下文，长期留存不能凭空创造算力收益。
五、SWA bounded replay的实质：在明确条件下用近似恢复减少重算
滑动窗口注意力只直接读取近期窗口，但多层传播会扩大精确恢复时需要追溯的范围。V4.1的CED结构让部分decoder block KV可以由encoder最终隐藏状态投影得到，Decoder的SWA状态仍需处理。官方说明中，精确重建相关状态需要跨20个decoder层运行最近2560个Token，而bounded replay采用更短的后缀重放。
需要明确的一点是：公开部署说明把重建结果称为近似SWA KV Cache。重放片段内的注意力范围被截断，不能把它解释成对任意模型、任意历史都保持逐Token数值等价的通用技巧。
Encoder侧在SWA状态缺失时，复用已有block KV，只重放命中前缀末端的一段来重建SWA状态。Decoder侧则利用结构特点减少Prefill阶段的重复计算；重建状态用于Decode，并不写回前缀缓存。两个位置的作用类似，但数据流和写回策略不同。
部署说明讨论128-token窗口，README默认保留后缀配置为140，并要求覆盖窗口和最大回退长度；命中策略另有128加6的上限条件。这几个数字属于不同接口和约束，不能互相替换，更不能脱离版本写成一个万能参数。
评估这项优化时，应先固定模型、输入、精度、采样和缓存状态，再比较质量回归与延迟。长依赖问答、边界附近信息、工具参数以及反复续写，是比随手生成一句话更有价值的测试对象。降低重算开销与保持任务质量，需要放在同一份实验里看。
六、DSpark与异步调度：减少等待，需要知道等待来自哪里
DSpark先产生草稿Token，再由验证步骤决定可接受的推进范围。DeepInfer还使用置信度安排验证。它的收益取决于接受长度、验证成本、草稿开销及设备利用情况，不能用“草稿长度5”推出五倍加速。草稿命中少或者验证成为瓶颈时，收益会缩小。
异步调度让CPU批次准备与设备执行重叠，减少设备等待主机的空档。仓库使用“zero-overhead batch scheduler”的描述，理解时应落在流水线重叠的设计目标上，而不是声称现实服务所有调度成本都消失。
批次不变与确定性采样则服务于另一个目标：排除批次变化造成的输出差异。公开配置要求NVIDIA路径，确定性采样还需要固定序列种子，并关闭可变长MTP。它提醒我们，可复现性和最大性能有时需要不同的运行组合。
recipe补齐的是输入输出语义。它把Messages、Chat Completions、Responses等请求转成统一会话，再做提示渲染、Token编码和响应解析。工具执行、HTTP传输和模型推理仍由调用方提供。其结构化约束转换也不意味着后端必然执行了约束解码，需要与DeepInfer实际配置对齐。
如果同样的请求在不同部署中出现行为差异，应该同时核对模型权重、提示编码、推理开关和采样配置。仅比较模型名字，会遗漏足以改变结果的条件。
七、DeepInfer性能曲线与155万亿Token：先对齐分母
官方README说明，两张曲线分别在4张SM100的Prefill设置和64张SM100的Decode设置下测量，各自位于一个scale-up域，并给出复现扫描脚本。因此不能把两张图的纵轴直接相加，也不能在没有归一化的情况下与不同卡型、上下文长度和精度的服务比较。
生产问答披露单集群每天服务约155万亿Token、按谷价计算整体收入约38美元/GPU小时。这是DeepSeek报告的生产运营数字。它没有给出足以在外部完整重建收入结构、GPU计费口径、缓存Token组成、资源折旧和所有运营成本的材料。
收入/GPU小时既不是净利润，也不是单卡脱离集群后可实现的推理能力。155万亿Token也不能被当作全部为新生成Token。只有在输入、输出、缓存和计价构成一致时，这些数字才适合进入横向成本比较。
Rocky更关心的业务指标是满足质量与延迟要求的成功任务数，以及每个成功任务消耗的总资源。一次模型调用更便宜，如果重试、工具错误或人工返工变多，Agent项目的交付成本仍可能上升。
八、落地DeepInfer，要把验证顺序设计好
已有集群的团队可以先用官方离线示例建立可复现基线，再运行相同输入长度、缓存比例、输出预算和采样设置的扫描，最后逐步接入自己的缓存、路由与对外服务。每加一层，就测一次成功率、P50/P95延迟、设备空闲、通信与I/O，而不是等所有组件接完才解释结果。
小规模团队则应先确认资源规模是否适配。官方说明中的最小“可部署单元”与“高效推荐单元”有区别；推荐Decode为EP64以上，P/D整体资源配比又与流量有关。为了研究一个优化而直接复制大集群拓扑，可能让实验预算失去控制。
可以继续研究的方向包括：缓存收益随业务重访间隔如何变化，bounded replay误差如何随任务传播，专家迁移如何与尾延迟共同优化，以及多协议编码一致性怎样进入自动回归。它们都能形成明确的实验变量与可测量结果。
DeepInfer公开了观察这些问题的一个具体实现。长期可积累的能力，是理解一个请求如何消耗资源、一个优化如何改变误差和等待，以及这些变化怎样影响最终交付。框架会迭代，这套系统判断会继续发挥作用。
推荐阅读
1. 深入浅出完整解析AI Agent（AI智能体）的核心基础知识
2025年可以说是AI Agent全面落地应用的元年，因此Rocky在持续撰写对AI Agent的全维度解析文章：
深入浅出完整解析AI Agent（AI智能体）的核心基础知识
2. 深入浅出完整解析扩散模型DDPM、DDIM、Score-Based、SDE、LDM、Classifier/Classifier-Free Guidance、Rectified Flow核心基础知识
Rocky对扩散模型的本质原理与和核心基础知识进行了全面系统的深入浅出分析讲解，同时不断跟进补充扩散模型的最新技术发展，希望能给大家带来帮助：
深入浅出完整解析扩散模型DDPM、DDIM、Score-Based、SDE、LDM、Classifier/Classifier-Free Guidance、Rectified Flow核心基础知识
3. 入浅出完整解析FLUX.2、Seedream（即梦）、Z-image、GLM-Image核心基础知识
Rocky对AIGC时代“中场时刻”之后的主流AIGC创作大模型的核心基础知识进行了全面系统的深入浅出分析讲解，力求让大家通俗易懂理解AIGC时代的技术浪潮的本质价值：
入浅出完整解析FLUX.2、Seedream（即梦）、Z-image、GLM-Image核心基础知识
4. 深入浅出完整解析FLUX.1 Kontext和FLUX.1 Krea核心基础知识
Rocky对FLUX.1 Kontext和FLUX.1 Krea的核心基础知识作了全面系统的梳理与解析：
深入浅出完整解析FLUX.1 Kontext和FLUX.1 Krea核心基础知识
5. 深入浅出完整解析DeepSeek系列核心基础知识
Rocky对DeepSeek系列模型的核心基础知识作了全面系统的梳理与解析：
深入浅出完整解析DeepSeek系列核心基础知识
6. 深入浅出完整解析Stable Diffusion 3（SD 3）和FLUX.1系列核心基础知识
Rocky对Stable Diffusion 3和FLUX.1的核心基础知识作了全面系统的梳理与解析：
深入浅出完整解析Stable Diffusion 3（SD 3）和FLUX.1系列核心基础知识
7. 深入浅出完整解析Stable Diffusion XL（SDXL）核心基础知识
Rocky对Stable Diffusion XL的核心基础知识作了全面系统的梳理与解析：
深入浅出完整解析Stable Diffusion XL（SDXL）核心基础知识
8. 深入浅出完整解析Stable Diffusion（SD）核心基础知识
Rocky对Stable Diffusion 1.x-2.x系列模型的核心基础知识做了全面系统的梳理与解析：
深入浅出完整解析Stable Diffusion（SD）核心基础知识
9. 深入浅出完整解析Stable Diffusion中U-Net的前世今生与核心知识
Rocky对Stable Diffusion中最为关键的U-Net结构进行了深入浅出的全面解析，包括其在传统深度学习中的价值和在AIGC中的价值：
深入浅出完整解析Stable Diffusion中U-Net的前世今生与核心知识
10. 深入浅出完整解析LoRA（Low-Rank Adaptation）模型核心基础知识
对于AIGC时代中的“ResNet”——LoRA模型，Rocky进行了深入浅出的全面讲解：
深入浅出完整解析LoRA（Low-Rank Adaptation）模型核心基础知识
11. 深入浅出完整解析ControlNet核心基础知识
AIGC图像创作开源社区已经形成以Stable Difffusion/FLUX为核心，ConrtolNet和LoRA作为首要AI辅助工具的变化万千的AIGC图像创作工作流。
ControlNet正是让AI图像创作社区无比繁荣的关键一环，它让AIGC图像创作过程更加的可控，更有助于广泛地将AIGC算法解决方案应用到各行各业中：
深入浅出完整解析ControlNet核心基础知识
12. 深入浅出完整解析Sora、Seedance、keling等AI视频大模型核心基础知识
AI绘画和AI视频是两个互相促进、相互交融的领域，2024年无疑是AI视频领域的爆发之年，Rocky对AI视频领域核心的Sora、Seedance、Keling等大模型进行了全面系统的梳理与解析：
深入浅出完整解析Sora、Seedance、keling等AI视频大模型核心基础知识
13. 深入浅出完整解析AIGC时代Transformer核心基础知识
在AIGC时代中，Transformer为AI行业带来了深刻的变革。Transformer架构正在一步一步重构所有的AI技术方向，成为AI技术架构大一统与多模态整合的关键核心基座，大有一统“AI江湖”之势。Rocky也对Transformer模型进行持续的深入浅出梳理与解析：
深入浅出完整解析AIGC时代Transformer核心基础知识
14. 深入浅出完整解析ComfyUI、Diffusers、Stable Diffusion WebUI等主流AIGC创作框架核心基础知识
AIGC创作框架正是AIGC算法工作流的运行载体，目前主流的AIGC创作框架有ComfyUI、Diffusers、Stable Diffusion WebUI等。在传统深度学习时代，PyTorch、TensorFlow以及Caffe是传统深度学习模型的基础运行框架，到了AIGC时代，Rocky相信ComfyUI就是AIGC时代的“PyTorch”、Stable Diffusion WebUI就是AIGC时代的“TensorFlow”、Diffusers就是AIGC时代的“Caffe”：
深入浅出完整解析ComfyUI、Diffusers、Stable Diffusion WebUI等主流AIGC创作框架核心基础知识
15. 深入浅出完整解析ComfyUI、Diffusers、Stable Diffusion WebUI等主流AIGC创作框架核心基础知识
在AIGC时代中，如何快速转身，入局AIGC产业？如何成为AIGC/LLM/AI Agent算法/开发工程师？如何在学校中系统性学习AIGC/LLM/AI Agent知识，斩获心仪的AIGC/LLM/AI Agent算法/开发offer？
Don‘t worry，Rocky为大家总结整理了全面的AIGC/LLM/AI Agent算法/开发工程师成长秘籍，为大家答疑解惑，希望能给大家带来帮助：
手把手教你成为AIGC/LLM/AI Agent算法/开发工程师，斩获AIGC/LLM/AI Agent算法/开发offer！
16. AIGC产业的深度思考与分析
2023年3月21日，微软创始人比尔·盖茨在其博客文章《The Age of AI has begun》中表示，自从1980年首次看到图形用户界面（graphical user interface）以来，以OpenAI为代表的科技公司发布的AIGC模型是他所见过的最具革命性的技术进步。
Rocky也认为，AIGC及其生态，会成为AI行业重大变革的主导力量。AIGC会带来一个全新的红利期，未来随着AIGC的全面落地和深度商用，会深刻改变我们的工作、生活、学习以及交流方式，各行各业都将被重新定义，过程会非常有趣。
那么，在此基础上，我们该如何更好的审视AIGC的未来？我们该如何更好地拥抱AIGC引领的革新？Rocky准备从技术、产品、商业模式、长期主义等维度持续分享一些个人的核心思考与观点，希望能帮助各位读者对AIGC有一个全面的了解：
深入浅出全面解析AIGC时代核心价值与发展趋势（2025年版）
17. AI算法工程师的独孤九剑秘籍
为了方便大家实习、校招以及社招的面试准备，同时帮助大家提升扩展技术基本面，Rocky将符合大厂和AI独角兽价值的算法高频面试知识点撰写总结成《三年面试五年模拟》之独孤九剑秘籍:
【三年面试五年模拟】AIGC时代的算法工程师的求职面试秘籍（持续更新中）
18. 深入浅出完整解析AIGC时代中GAN（Generative Adversarial Network）系列模型核心基础知识
GAN系列模型作为传统深度学习时代的最热门生成式Al模型，在AIGC时代继续繁荣，作为Stable Diffusion/FLUX系列大模型的“得力助手”，广泛活跃于AlGC图像创作的产品与工作流中：
深入浅出完整解析AIGC时代中GAN（Generative Adversarial Network）系列模型核心基础知识
