一文读懂【模型压缩 3 大核心技术】：剪枝、量化、知识蒸馏

《博主简介》

小伙伴们好，我是阿旭。
专注于计算机视觉领域，包括目标检测、图像分类、图像分割和目标跟踪等项目开发，提供模型对比实验、答疑辅导等。

《------往期经典推荐------》

一、AI应用软件开发实战专栏【链接】

二、机器学习实战专栏【链接】，已更新31期，欢迎关注，持续更新中~~
三、深度学习【Pytorch】专栏【链接】
四、【Stable Diffusion绘画系列】专栏【链接】
五、YOLOv8改进专栏【链接】，持续更新中~~
六、YOLO性能对比专栏【链接】，持续更新中~

《------正文------》

模型压缩（剪枝、量化、知识蒸馏）

一、模型压缩的背景与目标

现代深度学习模型在追求高精度的同时，模型规模急剧增长。训练完成的基线模型（Baseline Model）虽性能优异，但面临以下挑战：

• 存储空间大：动辄几百MB甚至几GB的模型文件
• 运行内存高：推理时需要大量内存存储中间结果
• 计算复杂：推理延迟长，难以满足实时应用需求
• 部署困难：无法在资源受限的边缘设备上运行

模型压缩技术通过系统性优化，将庞大的基线模型转换为轻量化的压缩模型（Compressed Model），实现三大目标：

• 更小的模型尺寸（Smaller Size）
• 更快的推理速度（Faster Inference）
• 边缘设备部署能力（Deploy to Edge）

二、核心压缩技术

1. 剪枝（Pruning）：移除冗余连接

剪枝基于“神经网络存在大量对预测贡献微小的连接”这一发现，移除冗余连接以减少参数，同时保持性能。

剪枝的分类

• 结构化剪枝：移除整个神经元、通道或层
  • 优势：保持规整的网络结构，便于硬件优化
  • 劣势：压缩粒度较粗，压缩率相对较低
• 非结构化剪枝：移除单个权重连接
  • 优势：压缩粒度细，可达到更高的压缩率
  • 劣势：产生稀疏矩阵，硬件加速困难

剪枝的步骤

1. 重要性评估 → 计算每个连接/神经元的重要性分数
2. 剪枝策略制定 → 确定剪枝比例和优先级
3. 执行剪枝 → 移除低重要性的连接
4. 微调恢复 → 通过继续训练补偿性能损失
5. 迭代优化 → 重复上述过程直到满足要求

2. 量化（Quantization）：降低数值精度

量化通过降低模型参数的数值精度实现压缩，最常见的是将32位浮点数（FP32）转换为8位整数（INT8），几乎不影响精度的同时实现4倍存储压缩与计算加速。

量化的类型

• 训练后量化（Post-training Quantization, PTQ）
  • 特点：在已训练模型基础上直接量化
  • 优势：实现简单，无需重新训练
  • 适用：对精度要求不是极其严格的场景
• 量化感知训练**（Quantization-aware Training,**QAT**）**
  • 特点：训练过程中模拟量化操作
  • 优势：精度损失更小，效果更好
  • 适用：对精度要求严格的关键应用

3. 知识蒸馏（Knowledge Distillation）：师生传承

知识蒸馏采用“教师-学生”模式：让大模型（教师）指导小模型（学生）学习，核心是用“软标签”而非传统“硬标签”训练。

标签类型对比

• 传统硬标签：如[1,0,0]，仅告知模型正确答案
• 软标签（蒸馏）：如[0.8,0.15,0.05]，包含类别间的相似性信息（教师模型的“经验知识”）

损失函数

损失函数 = α × 蒸馏损失（软标签） + (1-α) × 任务损失（硬标签） 通过平衡两种损失，学生模型既能学习真实任务目标，又能继承教师模型的知识经验。

三、技术组合：蒸馏+剪枝+量化

单独使用每种压缩技术难以达到最佳效果，推荐组合顺序为：知识蒸馏→剪枝→量化，各阶段作用如下：

1. 第一阶段：知识蒸馏
   1. 从基线模型训练得到结构优化的小模型
   2. 解决网络结构冗余问题，为后续优化提供更好起点
2. 第二阶段：剪枝优化
   1. 在蒸馏得到的小模型基础上剪枝
   2. 移除剩余冗余连接和神经元，进一步减少参数与计算量
3. 第三阶段：量化压缩
   1. 对剪枝后的模型进行量化
   2. 实现最终的存储和计算优化，获得部署就绪的压缩模型

好了，这篇文章就介绍到这里，喜欢的小伙伴感谢给点个赞和关注，更多精彩内容持续更新~~
关于本篇文章大家有任何建议或意见，欢迎在评论区留言交流！