量化理论与INT4/INT8
量化难点:理解低比特为什么会同时影响存储成本、带宽压力、算子吞吐和精度稳定性。
为什么量化能显著减少显存和带宽压力?
验证
对称量化、非对称量化、per-tensor、per-channel区别?
验证
PTQ、QAT、GPTQ、AWQ、GGUF理解
验证
量化什么时候考虑QAT?
验证
量化常见误区
验证
W8A16量化
模型变大后,推理最先遇到的是”权重太大、显存占用高、每一步都要从显存里读取很多数据。“
核心思想与概念
W8A16实现”压缩权重显存、缓解带宽压力“
绝对最大值量化公式,参见:课程链接