剪枝对比
文章目录
- slim论文解读：2017年
- Slim剪枝（Network Slimming）简介
- 核心思想
- 1. **在BatchNorm层中的缩放因子（γ）上引入 L1 正则化**
- Slim剪枝的步骤
- 第一步：训练阶段加正则
- 第二步：通道剪枝
- 第三步：微调（Fine-tuning）
- 移植代码
- 下载yolov8代码
- 在工作根目录创建compress.py
- 创建ultralytics\models\yolo\detect\compress.py
- ultralytics\models\yolo\detect\compress.py
- 移植ultralytics\nn\extra_modules
- 移植ultralytics\cfg\hyp.scratch.sl.yaml
- 修改ultralytics\cfg\default.yaml
- YOLOv8剪枝代码解读
- 实验
slim论文解读：2017年
主要创新点：
1）减小模型大小；
2）减少运行时内存占用；
3）在不损害精度的情况下降低计算操作的数量。
简介：通过L1正则化将BN缩放因子的值推向零，使我们能够识别不重要的通道（或神经元），因为每个缩放因子对应于一个特定的卷积通道（或全连接层中的神经元）
作者将模型轻量化分为了5种方式介绍：低阶分解、权重量化、重量剪枝/稀疏、结构化剪枝/稀疏、神经结构学习。
低阶分解使用的是SVD等技术，减轻重量但是没有提速作用。
权重量化使用共享权值索引代替，可以用较少的数值映射多个位置，从而达到模型压缩的功能，但是也是不能压缩模型。
重量剪枝/稀疏，稀疏模型，然后将权重为0的权重剪枝。
结构化剪枝/稀疏，对训练好的模型修剪权重较小的行到，然后微调网络以恢复准确性。
神经结构学习，通过训练的方式来寻找最优的的剪枝模型。
当然可以，下面是对Slim 剪枝（Network Slimming）方法的介绍：
Slim剪枝（Network Slimming）简介
Slim剪枝是一种结构化剪枝方法，主要通过在网络中引入通道级别（channel-level）的稀疏正则化，自动学习哪些通道不重要，并在训练后剪除这些冗余通道，从而加速推理、减少参数量和计算量。
该方法首次由Liu et al.
