简介：深度学习—血细胞分类数据集.zip 是一份用于深度学习图像分类任务的血细胞样本集，聚焦医学图像分析中的细胞自动识别问题，面向人工智能、数据挖掘及医学影像相关方向的研究者与开发者。包内共2000个文件，以jpeg/jpg格式的细胞显微图像为主，同时包含少量xml标注文件和csv标签列表，压缩包总体积约108.13MB。数据集图片多来自染色血涂片的光学显微镜视野，捕捉了不同血细胞在形状、核型上的典型特征，可支撑数据预处理、卷积神经网络搭建、迁移学习、模型评估等完整建模流程；配套的标注与标签信息也方便用户直接用于监督训练和分类效果验证。已有1627人参与学习下载，对于需要真实医学图像数据开展算法实训的深度学习入门者和进阶开发者，是一份可操作、可验证的实用资料。
1. 解压“ 深度学习—血细胞分类数据集.zip”前先想明白：这个数据集解决的是什么分类问题
血细胞分类是医学图像识别里少见的“公开数据多、标签明确、模型容易落地”的基准任务。这个 zip 一般要么装按类别分好的单个细胞图像，要么装带标注框的原始血涂片视野，先把这个区别弄清楚，后面模型选型就顺了。很多初学者压缩包解压后直接丢给卷积神经网络，结果在目录读取、样本不均衡和验证集划分上反复返工。下面按“数据剖析 → 加载管线 → 模型训练 → 指标评估 → 导出部署”的顺序，把一路的代码、参数和常见坑位讲清楚，适合做毕设、算法课设或者医学图像预研的工程师跟着操作。
2. 血细胞分类数据集 zip 内有什么：目录结构、标注格式与坏图排查
2.1 先从 zip 清单看目录结构和文件名规律
拿到压缩包第一步不是解压，而是先看压缩包内部的顶层组织。很多血细胞数据集的 zip 采用“按类别分子目录”的组织方式，例如 train 目录下再开 Eosinophil、Lymphocyte、Monocyte、Neutrophil 四个子目录，图片文件名可能是编号加后缀。这种结构最简单，也适合直接用 PyTorch 的文件夹式 Dataset。另一些数据集会把图片全部平铺在 images 目录，另外用 JSON 或 CSV 记录 filename 到 label 的映射，还会附带 BBox 坐标，这时就要走标注解析。
用 Python 快速读取 zip 清单：
from zipfile import ZipFile with ZipFile("血细胞分类数据集.zip") as zf: names = zf.namelist() print(len(names)) for n in names[:30]: print(n)参数说明：namelist()返回压缩包内全部文件路径，不会实际解压，所以预览成本很低。先看前 30 条能判断目录层级，例如是否存在__MACOSX这类隐藏目录，是否存在空目录，这些都会给数据加载带来干扰。若看到大量以._开头的文件，说明压缩包来自 macOS，直接在代码里过滤掉即可。
命令行也一样：
unzip -l 血细胞分类数据集.zip | head -40unzip -l只列出条目不释放文件，适合在服务器上看样本规模。观察不到统一规律的命名时，再解压一个子目录出来看单张图片的尺寸和位深，别一次性把全部文件铺开。
2.2 标注文件怎么读：一个 JSON 解析示例
如果 zip 内带annotations.json或instances.json，常见的字段是filename、category_name、category_id，有时还有bbox。先解析并统计类别数，确认标注和子目录是否一致：
import json from collections import Counter anns = json.load(open("annotations.json")) items = anns if isinstance(anns, list) else anns["annotations"] counter = Counter(i["category_name"] for i in items) print(counter) print("图片数:", len(items))说明：category_name存的是类别中文名或英文名，统计结果可以直接看出数据分布。血细胞分类数据集中多数是四分类，但某些版本会包含血小板或不典型细胞。类别 id 和名称的对应关系要以你拿到的文件为准，不要直接照搬其他博客里的映射。
CSV 标注同理，用pandas.read_csv读取后检查label列，需要注意列名可能是class或Type。带bbox时意味着原始图可能一图多细胞，后续就不能简单走单标签分类，得引入目标检测流程。压缩包内若同时有README.md，先读它；命名规范和单位换算往往写在那里，能省下不少猜测时间。
2.3 统计类别比例与图像尺寸，定位样本质量问题
先跑一遍全量统计再训练。如果某类样本不足另一类的三分之一，模型会偏向高样本类。统计代码：
import os from collections import Counter from PIL import Image root = "data/train" bad_images = [] size_counter = Counter() for cls_dir in os.listdir(root): cls_path = os.path.join(root, cls_dir) for fname in os.listdir(cls_path): p = os.path.join(cls_path, fname) try: with Image.open(p) as im: size_counter[im.size] += 1 except Exception: bad_images.append(p) print("图像尺寸分布:", size_counter) print("损坏图像:", bad_images[:20])参数说明：im.size返回(宽, 高)。如果你的数据集中既有 640×480 的视野图，又有 224×224 的裁剪图，那说明 zip 内部混装了两种数据源，此时应分开处理，而不是统一进一个训练流程。损坏图像数量超过 5 张时，要检查是不是解压中断，或压缩包本身用了分卷压缩。
有些 zipped 数据集自带密码，务必从来源方获取口令，不要把加密副本直接传给协作方；公共数据集如果丢失 hash，模型训练结果很难复现。样本不均衡处理有一个优先顺序：先尝试类别加权采样，再考虑过采样，最后才对少样本类做增强，加权方式在下一章说明。
3. 用 PyTorch 加载血细胞分类数据集：Dataset 实现、增强参数与数据切分
3.1 写一个把子目录映射为类别标签的 Dataset 类
我一般不用torchvision.datasets.ImageFolder直接开训，因为它无法满足自定义读取逻辑，例如跳过文件后缀、过滤隐藏文件、记录原始路径。下面这个 Dataset 类更可控：
import os from PIL import Image from torch.utils.data import Dataset class CellDataset(Dataset): def __init__(self, root_dir, transform=None, class_names=None): self.paths = [] self.labels = [] self.transform = transform if class_names is None: class_names = sorted( d for d in os.listdir(root_dir) if os.path.isdir(os.path.join(root_dir, d)) and not d.startswith(".") ) self.class_names = class_names self.label2id = {name: i for i, name in enumerate(class_names)} for cls_name in class_names: cls_dir = os.path.join(root_dir, cls_name) for fname in os.listdir(cls_dir): if fname.lower().endswith((".jpg", ".jpeg", ".png", ".bmp")): self.paths.append(os.path.join(cls_dir, fname)) self.labels.append(self.label2id[cls_name]) def __len__(self): return len(self.paths) def __getitem__(self, idx): img = Image.open(self.paths[idx]).convert("RGB") if self.transform: img = self.transform(img) return img, self.labels[idx]逻辑说明：class_names按字母序固定排序，保证多次运行标签顺序一致；label2id在构造阶段就生成，不依赖外部字典文件。convert("RGB")把灰度图像统一为三通道，避免之后输入 CNN 时维度不匹配。若你的 zip 内文件是.tif等格式，在扩展名列表里加上，但要注意部分显微图像是 16 位深度，convert("RGB")会做量化，有必要时先确认原始位深再决定。
3.2 血细胞图像的数据增强参数表与 transform 写法
显微镜图像相比自然图像，干扰主要来自染色深浅、采集亮度、裁切位置。因此增强重点放在颜色抖动和随机裁剪上：
from torchvision import transforms train_tf = transforms.Compose([ transforms.Resize((256, 256)), transforms.RandomResizedCrop(224, scale=(0.7, 1.0)), transforms.RandomHorizontalFlip(p=0.5), transforms.RandomRotation(15), transforms.ColorJitter(brightness=0.2, contrast=0.2, hue=0.02), transforms.ToTensor(), transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]) ]) val_tf = transforms.Compose([ transforms.Resize((256, 256)), transforms.CenterCrop(224), transforms.ToTensor(), transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]) ])参数说明：
| 参数 | 推荐值 | 作用与边界 |
|---|---|---|
| Resize 目标尺寸 | 256×256 | 先放大再裁剪，避免细胞边缘锯齿 |
| RandomResizedCrop scale | 0.7～1.0 | 模拟不同焦距，不能低于 0.5，否则细胞主干被裁掉 |
| RandomHorizontalFlip | p=0.5 | 细胞核位置不随翻转改变类别，可安全使用 |
| RandomRotation | 15 度 | 超过 30 度会产生大量背景边角 |
| ColorJitter hue | 0.02 | hue 太大会改变染色剂颜色，破坏类别特征 |
Normalize使用 ImageNet 均值和标准差，是为了与预训练权重分布对齐。即使你的数据集中背景是灰白色，也不要随意换用自己算出的均值，除非你完全从零训练。增强只在训练分支启用，验证分支必须用固定裁剪。
3.3 按类别比例切分 train/val，并用随机种子固定划分
血细胞数据集标签不均衡时，简单用random_split会放大验证集波动。我通常按类别分层切：
from sklearn.model_selection import train_test_split from torch.utils.data import Subset dataset = CellDataset("data/train", transform=train_tf) idx = list(range(len(dataset))) train_idx, val_idx = train_test_split( idx, test_size=0.2, stratify=dataset.labels, random_state=42 ) train_ds = Subset(dataset, train_idx) val_ds = Subset(dataset, val_idx)说明：stratify=dataset.labels会让每一类在验证集中的比例和全集一致。random_state=42固定随机序列，保证每次跑出来的验证集相同。Subset复用的是同一个dataset实例，会连带使用train_tf增强，因此验证分支要单独构造一份带val_tf的 Dataset，再按同一组索引切分，不能把训练增强用在验证阶段。
提示：类别数差异超过 10 倍时，可给
DataLoader传入WeightedRandomSampler，权重取1 / 类别频率，先不动原始数据，避免过采样导致大量重复图。
4. 血细胞分类 CNN 模型怎么选：ResNet18 迁移学习、训练循环与超参搭配
4.1 选 ResNet18 的理由与预训练权重加载方式
血细胞图像是典型的“目标居中、纹理细微”的图像。细胞核形状和颗粒颜色区分了嗜酸性粒细胞、中性粒细胞、淋巴细胞和单核细胞，这些特征由浅层卷积核捕获，而深层特征决定类间差异。ResNet18 的 4 个 stage 提供了足够感受野，参数量只有 11.7M，在医学图像这类小数据集上不容易过拟合。相比 VGG16 的 138M 参数，ResNet18 更稳，训练也更快。
加载预训练权重并替换最后一层：
import torchvision.models as models import torch.nn as nn num_classes = 4 model = models.resnet18(weights=models.ResNet18_Weights.IMAGENET1K_V1) in_f = model.fc.in_features model.fc = nn.Linear(in_f, num_classes)参数说明：IMAGENET1K_V1在较新的 torchvision 中替代了已弃用的pretrained=True。如果环境里 torchvision 版本较旧，仍可把weights参数换成pretrained=True，效果相同。model.fc.in_features取的是原分类头的输入维度，这里要把最终输出改为 4 类。
如果 zip 中的图像不是 224×224，而是 640×480，不建议直接缩到 224；过小的 resize 会让细胞核纹理丢失，优先用 RandomCrop 把视野切成 224 的 patch，再参与训练。
4.2 训练循环的最小实现与超参数表
下面是一个可直接跑的循环骨架，包含训练 loss 和 acc 的打印：
import torch device = torch.device("cuda" if torch.cuda.is_available() else "cpu") model.to(device) criterion = nn.CrossEntropyLoss(label_smoothing=0.1) optimizer = torch.optim.AdamW(model.parameters(), lr=1e-4, weight_decay=5e-4) epochs = 20 for epoch in range(epochs): model.train() total_loss, total_correct, total = 0.0, 0, 0 for images, labels in train_loader: images, labels = images.to(device), labels.to(device) optimizer.zero_grad() outputs = model(images) loss = criterion(outputs, labels) loss.backward() optimizer.step() total_loss += loss.item() * images.size(0) total_correct += (outputs.argmax(1) == labels).sum().item() total += labels.size(0) print(epoch, total_loss / total, total_correct / total)逻辑说明：label_smoothing=0.1让模型不追求单类绝对置信度，对标注噪声有一定容忍度；血细胞数据集里有些形态介于两类之间，平滑后的边界更稳。AdamW的默认 betas 对 224×224 输入足够，不需要改动。
超参数起步组合：
| 场景 | 学习率 | Batch size | Epoch | Optimizer |
|---|---|---|---|---|
| 微调预训练 | 1e-4 | 32 | 15～30 | AdamW |
| 从零训练 | 3e-3 | 32 | 40～60 | AdamW |
| 全数据微调 | 1e-4（头） / 1e-5（骨干） | 64 | 10 | AdamW |
batch size 增大时学习率应相应提高。血细胞图像本身内存压力小，GPU 显存超过 8G 时 batch size 用 64 是安全的。每次评估验证集后保存state_dict，同时记录验证 loss，用最低验证 loss 的权重做最终测试，而不是取最后一个 epoch。
4.3 监控 epoch loss 判断欠拟合和过拟合
训练阶段只看训练 acc 不够。epoch 到 5 时训练 loss 仍不降，优先检查学习率是不是低于 1e-5；如果训练 loss 降但验证 loss 在第 8 个 epoch 后抬升，说明过拟合，把weight_decay从 5e-4 提到 1e-3，或增强 RandomResizedCrop 的裁剪范围。这些判断不需要 TensorBoard，打印每个 epoch 的 loss 和 acc 足够定位问题。
5. 血细胞分类评估：混淆矩阵、F1 分数与误分类样本回看
5.1 验证集推理的完整代码与 classification_report 输出
模型训练完毕，用 val 集评测：
import torch from sklearn.metrics import classification_report, confusion_matrix model.eval() all_preds, all_labels = [], [] with torch.no_grad(): for images, labels in val_loader: images = images.to(device) preds = model(images).argmax(dim=1).cpu() all_preds.extend(preds.tolist()) all_labels.extend(labels.tolist()) print(classification_report(all_labels, all_preds, target_names=val_ds.dataset.class_names))说明：argmax(dim=1)把 logits 转成类别 id，cpu()在 GPU 推理后移回主机，避免之后收集时地址冲突。classification_report会输出每个类别的 precision、recall、f1-score 和 support。血细胞四分类里 support 最小的类，f1-score 通常最容易波动，看报告时先盯那一行的数字。
混淆矩阵是定位类间混淆的核心：
cm = confusion_matrix(all_labels, all_preds) print(cm)每一行是真类别，每一列是预测类别。对角线之外的高亮点，就是模型反复分错的成对类别。
5.2 从混淆矩阵反推类间混淆原因
血细胞分类里最常见的两组混淆是“中性粒细胞 / 嗜酸性粒细胞”和“淋巴细胞 / 单核细胞”。前者因为二者都有分叶核和颗粒染色，后者因为核质比接近，尤其当染色偏浅或细胞轻度退变时。若混淆矩阵显示这两个位置异常，说明增强里的 hue 抖动太小，染色差异没被模拟出来，把hue从 0.02 提高到 0.05 再试一轮。如果仍然混，就要检查标注本身，看是否有“低粒度中性粒”被记成“嗜酸性粒”的情况。
另一个常见问题是模型把所有不确定样本推向样本量大的类。此时混淆矩阵的行会比列更平均，叠加类别权重的 loss 比单纯增加少样本类训练图更有效。
5.3 可视化错误样本，区分“标注错”还是“模型错”
把预测错误的具体图像保存下来：
import matplotlib.pyplot as plt import torch model.eval() mis_samples = [] with torch.no_grad(): for images, labels in val_loader: images, labels = images.to(device), labels.to(device) preds = model(images).argmax(1) for i, (p, t) in enumerate(zip(preds, labels)): if p.item() != t.item(): mis_samples.append((images[i].cpu(), t.item(), p.item())) if len(mis_samples) >= 9: break if len(mis_samples) >= 9: break fig, axes = plt.subplots(3, 3, figsize=(8, 8)) for ax, (img, true_id, pred_id) in zip(axes.flat, mis_samples): img = img.permute(1, 2, 0) * torch.tensor([0.229, 0.224, 0.225]) + torch.tensor([0.485, 0.456, 0.406]) ax.imshow(img.numpy().clip(0, 1)) ax.set_title(f"{val_ds.dataset.class_names[true_id]} -> {val_ds.dataset.class_names[pred_id]}") ax.axis("off") plt.tight_layout() plt.savefig("误分类样本.png", dpi=150)说明：保存前要把归一化反变换回去，否则图片是暗色调。用前 9 个错误样本做人工回看，如果有两张以上的图连人都很难分辨，那属于标注边界问题，不一定要增加训练时间。如果错误集中在某一特定形态，说明该形态在训练集中出现太少，需要对该类做针对性增强。
6. 导出 ONNX 推理并固定数据集版本：模型落地前的最后两步
6.1 PyTorch 导出 ONNX 的最小实现与动态轴设置
验证完成后，把模型转成 ONNX：
model.to("cpu").eval() dummy = torch.randn(1, 3, 224, 224) torch.onnx.export( model, dummy, "cell_classifier.onnx", input_names=["input"], output_names=["logits"], dynamic_axes={"input": {0: "batch"}, "logits": {0: "batch"}}, opset_version=12 )说明：dynamic_axes里第 0 维是 batch，运行时可以接收任意批量大小。opset 12 兼容大多数 ONNX Runtime 版本，不需要用更高版本。导出前必须model.eval()，否则 BatchNorm 和 Dropout 的推理行为不同。用 CPU 导出能避开 GPU 算子与 CPU 算子的不一致。
6.2 推理侧图像预处理的三个一致性检查
ONNX 推理时预处理与训练不一致是线上最常见故障。检查三处：
- 通道顺序：训练侧用
PIL.Image.convert("RGB")，推理侧如果走 OpenCV，要先cv2.cvtColor(img, cv2.COLOR_BGR2RGB)，避免红蓝通道对调。 - resize 插值：
torchvision.transforms.Resize默认 bilinear，OpenCV 侧用cv2.INTER_LINEAR对齐。 - Normalize 顺序：训练侧
ToTensor先把 [0,255] 转到 [0,1]，再减均值除方差。推理侧手写时也要先img / 255.0，再做(x - mean) / std，顺序反了数值范围会错。
一个经典错误是推理时直接 resize 到 224，而训练用的是 Resize 256 + CenterCrop 224，结果细胞被拉伸变形，准确率掉 2 到 5 个百分点。
6.3 给 zip 数据集加 sha256 与 metadata，防止模型记录失联
数据集版本要和模型权重版本绑定：
sha256sum 血细胞分类数据集.zip > dataset.sha256 cat dataset.sha256再把类别、样本数、切分种子写进 YAML：
dataset_name: cell_classification source_sha256: 8f3e6a9c7d... classes: [Eosinophil, Lymphocyte, Monocyte, Neutrophil] train_samples: 3120 val_samples: 780 shuffle_seed: 42 transforms: resize_256_center_crop_224这样模型仓库中放cell_classifier.onnx和这份 metadata，任何人半年后拿到模型都能定位到原始 zip 版本；如果 zip 更新过，只改文件名但目录结构变了，source_sha256会立刻暴露不一致。数据集变更后，不要把旧权重直接搬到新数据上，应重新计算类别数量并重新划分验证集，再决定是否沿用预训练权重。ONNX 的 batch 维度如果被固定成 1，服务端吞吐会受限，导出后先跑一次批量推理，确认输出的 shape 里仍保留 batch 占位符。
本文还有配套的精品资源，点击获取
