1. 为什么 W4A8 是当下大模型推理的甜点区
第一次看到“Kimi 2.7 Moe 从 4bit 存储到 INT8 拆解”这个标题，很多人会以为只是把权重压到 4bit 就完事了。实际做过 MoE 推理优化的人都知道，真正难的不是“存得下”，而是“算得快、算得准、显存还省”。W4A8 这个组合——权重 4bit 存储、激活 INT8 计算——恰好卡在了一个非常微妙的平衡点上：显存占用接近纯 4bit 方案，而计算吞吐又比 W4A16 高出一大截。
先把概念理清楚。W4A8 里的 W 指 Weight（权重），A 指 Activation（激活）。W4 表示权重以 4bit 精度存储，A8 表示激活值在计算时量化到 INT8。注意这里有个关键区别：权重是“存储精度”，激活是“计算精度”。权重 4bit 存下来之后，在 kernel 内部会被反量化到更高精度参与计算，而激活走 INT8 是为了吃到整数运算单元的吞吐红利。
为什么不是 W4A4？因为激活对精度太敏感了。激活值在 MoE 里经过 router 的 softmax、专家层的 GeLU/SiLU 之后，动态范围变化剧烈，4bit 激活会直接把模型质量打崩。为什么不是 W8A8？因为权重 8bit 存储省不下多少显存，MoE 模型动辄几百 GB 的权重，8bit 和 16bit 的差距在部署成本上是数量级的。所以 W4A8 是工程上反复权衡后的结果。
这里要区分几个容易混淆的精度概念。FP32 是 32 位浮点，1 位符号 + 8 位指数 + 23 位尾数，动态范围极大但算力需求最高。FP16 是 16 位浮点，1+5+10，动态范围够用但尾数精度有限。BF16 是 1+8+7，指数位和 FP32 一样，动态范围大但尾数精度低，适合训练。INT8 是 8 位整数，没有指数位，靠 scale 和 zero_point 把浮点映射到整数区间，算力需求最低、吞吐最高。FP8 则是 1+4+3 或 1+5+2，介于 FP16 和 INT8 之间，近两年在训练侧很火，但推理侧生态还不如 INT8 成熟。
提示：W4A8 不是“权重和激活都压到 4bit/8bit 就完事”，权重的 4bit 是存储格式，计算时通常要反量化；激活的 INT8 是计算格式，需要 per-token 或 per-channel 的动态量化。两者是两套独立的量化逻辑，不能混为一谈。
MoE 模型为什么特别适合 W4A8？因为 MoE 的参数量大但激活参数量小。以 Kimi 2.7 Moe 这类架构为例，总参数量可能几百 B，但每个 token 只激活其中一小部分专家。这意味着权重的存储开销是主要矛盾，而激活的计算量相对可控。W4 把权重存储压到极致，A8 保证激活计算不拖后腿，这个组合对 MoE 来说几乎是量身定做的。
2. 4bit 权重存储的三种主流格式与选择逻辑
权重压到 4bit，不是简单地把 FP16 截断。4bit 能表示的只有 16 个离散值，怎么把这 16 个值映射到原始权重分布上，直接决定了量化后的模型质量。目前工程上主流有三种格式：GPTQ 风格的 group-wise 对称量化、AWQ 风格的激活感知量化、以及 NF4/FP4 这类非线性格式。
2.1 GPTQ 的 group-wise 量化到底在做什么
GPTQ 的核心思路是逐层做最小二乘误差补偿。它把权重矩阵按列分组，每组比如 128 个元素共享一个 scale 和 zero_point，然后把这组权重映射到 4bit 整数区间。反量化时用w = (q - zero_point) * scale还原。group size 越小，量化误差越小，但 scale 的存储开销越大。128 是常见的折中，64 更精细但元数据翻倍。
这里有个实操细节：GPTQ 量化时用的是校准集（calibration set）的激活统计，而不是原始权重分布。因为权重的量化误差最终要通过激活体现出来，所以校准集的质量直接影响量化效果。我一般会用 128 到 512 条覆盖多领域的样本做校准，太少会导致某些专家层的量化误差被低估。
2.2 AWQ 为什么在 MoE 上更稳
AWQ 的出发点和 GPTQ 不同。它观察到权重里有一部分“重要通道”对激活影响特别大，如果这些通道被量化误差污染，模型质量会明显下降。所以 AWQ 会先识别这些重要通道，然后在量化时对它们做保护——要么保留更高精度，要么在 scale 上做补偿。
MoE 模型里这个特性尤其明显。不同专家的权重分布差异很大，有些专家处理的是高频 token，激活值大；有些专家处理长尾 token，激活值小。如果统一用一套量化参数，长尾专家的质量会先崩。AWQ 的 per-channel 保护机制在 MoE 上通常比 GPTQ 更稳，代价是量化过程更慢、实现更复杂。
2.3 NF4 和 FP4 的适用边界
NF4（Normal Float 4）是 QLoRA 里提出的格式，假设权重近似正态分布，把 4bit 的 16 个值按正态分布的分位数放置。FP4 则是标准的 4 位浮点，1 位符号 + 2 位指数 + 1 位尾数，动态范围比 INT4 大但精度低。
这两种格式在 MoE 推理里用得相对少，因为它们的反量化 kernel 优化不如 INT4 成熟。但在显存极度受限、且能接受一定质量损失的场景下，NF4 是个可选项。我的经验是：如果目标是生产环境的高吞吐推理，优先选 INT4 group-wise；如果是实验性质、追求极致显存压缩，可以试 NF4。
| 格式 | 映射方式 | 优点 | 缺点 | 适用场景 |
|---|---|---|---|---|
| INT4 group-wise | 线性对称/非对称 | kernel 成熟、吞吐高 | 需要 scale 元数据 | 生产推理首选 |
| NF4 | 正态分位数 | 低比特下质量好 | kernel 优化少 | 实验、显存极限 |
| FP4 | 浮点映射 | 动态范围大 | 精度低、生态弱 | 研究性质 |
| AWQ INT4 | 激活感知保护 | MoE 上质量稳 | 量化慢、实现复杂 | 质量敏感场景 |
注意：4bit 存储的权重在加载后通常要先反量化成 FP16 或 BF16 才能参与矩阵乘。如果 kernel 支持“权重 4bit 直接参与 INT8 计算”的融合反量化，那才是真正的 W4A8 加速。否则反量化本身的开销会吃掉一部分收益。
3. 激活 INT8 量化的动态范围陷阱
权重 4bit 是静态的，量化一次就固定了。激活 INT8 是动态的，每个 token、每个 batch 的激活分布都不一样。这是 W4A8 里最容易翻车的地方。
3.1 per-tensor、per-token、per-channel 怎么选
激活量化的粒度直接决定精度和开销。per-tensor 是整个张量共享一个 scale，开销最小但精度最差，遇到激活值分布不均时会大量截断。per-token 是每个 token 一个 scale，精度好很多，开销也可接受，是目前 LLM 推理的主流选择。per-channel 是每个通道一个 scale，精度最好但开销大，通常只在权重侧用。
在 MoE 里，激活量化还要考虑专家路由的影响。同一个 token 被路由到不同专家后，激活分布可能完全不同。如果所有专家共享一套激活量化参数，某些专家的激活会被过度压缩。更稳的做法是每个专家维护独立的激活 scale，但这会带来额外的元数据管理和 kernel 复杂度。
3.2 校准集与动态量化的取舍
激活量化有两种模式：静态量化和动态量化。静态量化用校准集预先统计激活范围，推理时直接用固定 scale；动态量化在推理时实时统计当前 batch 的激活范围，再算 scale。
静态量化快，但校准集覆盖不到的长尾输入会掉点。动态量化准，但每次都要做 reduce 操作，有额外开销。我的经验是：prefill 阶段用动态量化（因为序列长、激活分布变化大），decode 阶段用静态量化（因为单 token、分布稳定）。很多推理框架已经支持这种混合模式。
3.3 激活异常值的处理
LLM 的激活里存在少量“异常值”（outlier），数值可能是正常值的几十倍。这些异常值如果直接参与 INT8 量化，会把 scale 拉得很大，导致正常值全部被压到很小的整数区间，精度损失严重。
常见的处理方式有三种：一是用 per-token 量化把异常值隔离在单个 token 内；二是对异常值通道做特殊处理，比如保留 FP16；三是用 SmoothQuant 这类方法把激活的难度迁移一部分到权重上。在 W4A8 场景下，因为权重已经是 4bit 了，迁移空间有限，所以更依赖 per-token 量化和异常值通道保护。
# 激活 per-token INT8 量化的简化逻辑 def quantize_activation_int8(x, eps=1e-8): # x: [batch, seq, hidden] # 每个 token 计算自己的 scale abs_max = x.abs().amax(dim=-1, keepdim=True) # [batch, seq, 1] scale = abs_max / 127.0 + eps q = torch.round(x / scale).clamp(-128, 127).to(torch.int8) return q, scale def dequantize_activation_int8(q, scale): return q.to(torch.float16) * scale提示：激活量化里的 zero_point 在对称量化下是 0，非对称量化下需要额外计算。LLM 激活通常近似对称分布，所以对称量化够用，还能省掉 zero_point 的存储和计算。
4. MoE 专家层的 W4A8 拆解实操
MoE 的推理路径和 dense 模型不同：token 先过 router 算出门控权重，再被分发到 top-k 个专家，专家各自计算后再加权合并。W4A8 在每个环节的落地方式都不一样。
4.1 Router 和 Gate 的精度策略
Router 的输出是门控权重，决定 token 去哪些专家。这部分计算量小但对精度敏感——如果 router 量化误差大，token 可能被路由到错误的专家，后续再准也没用。所以 router 和 gate 通常保留 FP16 或 BF16，不参与 W4A8 量化。
我见过有人为了省显存把 router 也量化了，结果 top-k 选择频繁抖动，模型输出质量断崖式下跌。这个坑没必要踩，router 的参数量在 MoE 里占比极小，保留高精度的收益远大于那点显存。
4.2 专家权重的 4bit 分组量化
每个专家的权重矩阵独立做 4bit group-wise 量化。这里的关键是 group size 和 scale 精度的选择。group size 128 是常见起点，scale 用 FP16 存储。如果显存实在紧张，group size 可以放到 256，但质量会掉一点。
专家权重的量化顺序也有讲究。建议先量化所有专家的权重，再统一做校准和误差评估。因为不同专家的权重分布差异大，逐个量化容易在后期发现前面专家的参数需要调整，返工成本高。
4.3 专家激活的 INT8 量化与合并
专家计算完成后，输出需要加权合并。合并前的激活是 INT8，合并时通常要反量化回 FP16 再乘门控权重。如果门控权重也是 FP16，那合并就是 FP16 运算。这里有个优化点：如果 top-k 的门控权重能提前量化到 INT8，合并可以在整数域完成，但精度损失需要评估。
实际部署里，我倾向于合并阶段用 FP16，因为合并后的结果要进入下一层，精度损失会累积。省这一步的计算不值得。
4.4 一个完整的 W4A8 推理流程
把上面的环节串起来，一个 token 在 MoE 层的 W4A8 推理流程大致是：
- 输入激活（FP16）进入 router，router 用 FP16 计算门控权重和 top-k 索引。
- 激活做 per-token INT8 量化，得到 INT8 激活和 scale。
- 根据 top-k 索引，把 INT8 激活分发到对应专家。
- 专家权重以 4bit 存储，kernel 内部反量化到 INT8 或 FP16，与 INT8 激活做矩阵乘。
- 专家输出反量化回 FP16，乘以门控权重，累加合并。
- 合并结果进入下一层。
这个流程里，第 4 步是性能关键。如果 kernel 能把“4bit 权重反量化 + INT8 矩阵乘”融合在一起，吞吐会非常可观。如果反量化和矩阵乘是分开的，中间还要写回显存，收益就打折了。
5. HIP 后端上的 kernel 适配与性能验证
标题里提到了 HIP，说明这套 W4A8 方案是在 AMD GPU 生态上落地的。HIP 的编程模型和 CUDA 类似，但指令集、warp 调度、内存层次都有差异，直接照搬 CUDA kernel 往往跑不出预期性能。
5.1 HIP 上 INT8 矩阵乘的指令选择
AMD GPU 的 INT8 矩阵乘通常走v_dot系列指令或 MFMA（Matrix Fused Multiply-Add）指令。不同架构支持的指令不同，比如 CDNA 架构的 MFMA 对 INT8 有专门优化。写 kernel 前要先确认目标架构支持哪些指令，再决定数据布局。
数据布局上，INT8 矩阵乘通常要求权重按特定 tile 格式排列，才能让 MFMA 指令高效读取。4bit 权重的反量化也要配合这个布局，否则反量化后的数据还要重排，开销很大。
5.2 4bit 权重反量化的内存访问优化
4bit 权重在显存里是紧凑存储的，两个 4bit 值打包在一个 byte 里。反量化时要先解包，再乘 scale。这个过程的瓶颈往往不在计算，而在内存访问——如果解包后的数据要写回显存再读，带宽就浪费了。
优化思路是让反量化和矩阵乘在同一个 kernel 里完成，反量化结果直接进寄存器或 LDS（Local Data Share），不落显存。HIP 里可以用__shared__或 LDS 来缓存反量化后的权重 tile，减少全局内存访问。
5.3 实测性能对比与瓶颈定位
验证 W4A8 效果时，我一般会对比三组数据：FP16 基线、W8A8、W4A8。关注两个指标：吞吐（tokens/s）和显存占用。理想情况下，W4A8 的吞吐应该比 W8A8 高 20% 到 40%，显存占用比 W8A8 低 40% 左右。
如果吞吐没达到预期，先查是不是反量化开销太大。用 profiler 看 kernel 时间分布，如果反量化 kernel 占比超过 15%，说明融合没做好。如果矩阵乘 kernel 本身慢，查指令选择和数据布局。如果显存占用没降下来，查 scale 元数据是不是存太多了——group size 太小会导致 scale 数量爆炸。
| 配置 | 权重显存 | 激活显存 | 吞吐（相对 FP16） | 质量损失 |
|---|---|---|---|---|
| FP16 | 100% | 100% | 1.0x | 基线 |
| W8A8 | 50% | 50% | 1.3-1.6x | 很小 |
| W4A8 | 25% | 50% | 1.5-2.0x | 可控 |
| W4A4 | 25% | 25% | 1.8-2.2x | 明显 |
注意：上表的吞吐是理想值，实际取决于 kernel 实现和硬件。如果反量化没融合，W4A8 的吞吐可能还不如 W8A8，因为反量化本身有开销。
6. 量化质量评估：怎么判断 W4A8 有没有把模型搞坏
量化做完不是终点，质量评估才是。W4A8 的质量损失主要来自两处：权重 4bit 的量化误差，和激活 INT8 的量化误差。两者叠加，可能在某些任务上放大。
6.1 困惑度之外还要看什么
困惑度（PPL）是最常用的量化评估指标，但它对长尾任务不敏感。我一般会加三组测试：一是标准 PPL，看整体质量；二是下游任务准确率，比如问答、摘要、代码生成；三是长文本一致性，看模型在长上下文里会不会“跑偏”。
MoE 模型还要特别关注专家利用率。如果量化后某些专家的激活值被过度压缩，router 可能会减少对这些专家的路由，导致专家利用率下降。这不会直接体现在 PPL 上，但会影响模型的表达能力。
6.2 分层敏感度分析
不是所有层对量化的敏感度都一样。通常 embedding 层、router、最后的输出层对精度最敏感，中间专家层的容忍度较高。做分层敏感度分析的方法是：逐层替换成量化版本，看 PPL 变化。变化大的层保留高精度，变化小的层放心量化。
这个分析在 MoE 上尤其值得做，因为专家层数量多，如果能把大部分专家层量化、少数敏感层保留，整体收益很可观。
6.3 量化误差的累积与补偿
W4A8 的误差会在层间累积。如果每层都有微小误差，几十层下来可能就明显了。补偿的思路有两种：一是量化感知训练（QAT），在训练时模拟量化误差，让模型学会适应；二是训练后补偿（PTQ），用校准数据做局部微调。
QAT 效果最好但成本高，需要重新训练。PTQ 成本低但补偿能力有限。实际项目里，如果 W4A8 的 PPL 损失在 2% 以内，通常直接上 PTQ；如果超过 5%，就要考虑 QAT 或者调整量化配置了。
7. 踩过的坑与实战经验
说几个我在 W4A8 落地过程中真实踩过的坑，都是文档里不会写的。
第一个坑是 group size 设太小。一开始为了追求质量，把 group size 设成 32，结果 scale 元数据占了大量显存，整体显存占用比预期高了 30%。后来改成 128，质量只掉了不到 0.5%，显存省了一大截。group size 不是越小越好，要算总账。
第二个坑是激活量化用了 per-tensor。在 prefill 阶段，不同位置的激活分布差异极大，per-tensor 直接把长序列后半段的激活压没了。改成 per-token 后，长文本质量立刻恢复。这个坑在短序列测试时发现不了，一定要用长文本验证。
第三个坑是 HIP kernel 的数据布局没对齐。4bit 权重解包后的 tile 布局和 MFMA 指令要求的布局不一致，导致每次矩阵乘前都要重排，性能比预期低了 40%。后来重写了反量化 kernel，让解包直接输出目标布局，性能才上来。
第四个坑是忽略了 router 的精度。有次为了省显存把 router 也量化了，结果 top-k 选择在相邻 token 间频繁跳变，生成文本的连贯性明显下降。router 那点参数量不值得省，保留 FP16 是最稳的。
提示：W4A8 的调优是个系统工程，不要指望一次配置就到位。建议先跑通 FP16 基线，再逐步加量化，每加一步都做质量评估，这样才能定位问题出在哪个环节。
8. 从 W4A8 继续往下走的方向
W4A8 不是终点。往更激进的量化走，有 W4A4、W3A8 这些方向，但质量风险更大。往更稳的方向走，有 W4A16、W8A8，质量好但收益小。W4A8 目前是收益和风险的平衡点。
如果要在 W4A8 基础上继续优化，我建议从三个方向入手：一是 kernel 融合，把反量化、矩阵乘、激活量化尽量融到一个 kernel 里，减少显存往返；二是专家粒度的量化策略，不同专家用不同的 group size 和量化格式，把敏感专家保护起来；三是动态精度切换，根据输入难度动态决定用 W4A8 还是 W8A8，简单输入走激进量化，难输入走保守量化。
MoE 架构本身还在演进，Kimi 2.7 这类模型的专家路由策略、专家数量、激活比例都在变。W4A8 的具体配置也要跟着调，没有一劳永逸的参数。我的习惯是每换一个模型，先做一轮敏感度分析，再定量化方案，这样最稳。
