简介：这份动物图片数据集面向计算机视觉初学者、深度学习教学者及图像分类模型训练者，用于解决动物识别任务中样本不足、类别不均衡的问题。数据集覆盖狗、猫、马、蜘蛛、蝴蝶、鸡、羊、牛、松鼠、大象共10个类别，主目录按类别分文件夹存放，每类图像数量在2K至5K之间，总量约28K，均为中等质量JPG图像，适合直接用于CNN训练、迁移学习与数据增强实验。资源包共2000个文件，以jpeg和jpg图像为主，另有少量png及一个py脚本，压缩包约586.39MB，目录结构清晰，便于按类别快速检索与划分训练集、验证集。目前已有790人学习下载，读者可借此搭建完整的动物分类流水线，完成从数据加载、预处理到模型评估的全流程实践，也可用于课堂演示与算法对比实验。
1. 动物图片数据集 JPG（10类28K+图像）：从拿到压缩包到喂进模型，中间隔着多少坑
你从某个渠道拿到一个压缩包，解压后是 10 个文件夹，每个文件夹里塞满了 JPG 图片，加起来 28000 多张。文件夹名就是类别名，比如 cat、dog、horse 之类。第一反应通常是：这数据挺干净啊，直接拿来训个分类模型不就行了？然后你打开其中一个文件夹，发现图片尺寸从 120×90 到 4000×3000 都有，有的带透明通道被转成了黑底，有的文件名里混着中文和空格，还有几张打开是损坏的。这时候你才意识到，28K 张 JPG 不等于 28K 条可训练样本，从原始文件到能喂进 DataLoader 的 Tensor，中间至少隔着格式校验、尺寸统一、标签映射、训练/验证划分这四道工序。这篇笔记就是把这四道工序拆开讲清楚，适合手里已经拿到类似数据集、准备做图像分类或迁移学习微调的从业者。
2. 先搞清楚这 10 类 28K 张 JPG 到底能训什么：选型与预处理链路
2.1 10 类 28K 的体量适合什么模型、不适合什么模型
先算一笔账。10 个类别，28000 张图，平均每类 2800 张。这个体量在图像分类任务里属于中等偏小。如果你打算从零训练一个 ResNet-50，参数量 2500 万左右，28000 张图大概率会过拟合，验证集准确率会在第 10 个 epoch 之后开始震荡。常见做法是走迁移学习：用 ImageNet 预训练权重做初始化，只替换最后的全连接层，冻结前面的卷积块，先只训分类头 5 到 10 个 epoch，再解冻最后两三个 stage 做小学习率微调。
如果你要训的是 YOLO 系列做检测，那这个数据集只有类别标签没有边界框标注，不能直接用于检测训练。热词里出现的 yolov8训练自己的数据集、yolo26训练自己的数据集，前提是你得有 XML 或 TXT 格式的标注文件。这个数据集是分类数据集，不是检测数据集，这一点在选型阶段就要确认清楚，否则后面标注成本会很高。
至于热词里提到的 ccpd数据集、hrsc2016数据集、crowdhuman数据集，那些是检测或特定场景数据集，和这个动物分类数据集不是一回事。不要因为都是图像数据集就混着用。
2.2 用 Python 做一次全量体检：尺寸、通道、损坏文件
在写任何训练代码之前，先跑一遍体检脚本。这一步能帮你省掉后面调试 DataLoader 报错的两个小时。
import os from PIL import Image from collections import Counter root = "animal_dataset" # 解压后的根目录，下面有10个子文件夹 sizes = Counter() bad_files = [] mode_counter = Counter() for cls in sorted(os.listdir(root)): cls_dir = os.path.join(root, cls) if not os.path.isdir(cls_dir): continue for fname in os.listdir(cls_dir): fpath = os.path.join(cls_dir, fname) try: with Image.open(fpath) as im: sizes[im.size] += 1 mode_counter[im.mode] += 1 except Exception as e: bad_files.append((fpath, str(e))) print("尺寸分布 Top10:", sizes.most_common(10)) print("色彩模式分布:", mode_counter) print("损坏文件数:", len(bad_files)) for f, err in bad_files[:5]: print(f, err)这段脚本做三件事：统计所有图片的宽高组合、统计色彩模式（RGB、L、RGBA、CMYK）、记录打不开的文件。跑完之后你会得到几个关键数字。如果尺寸分布里 Top10 覆盖了 80% 以上的图片，说明大部分图尺寸接近，可以统一 resize 到一个固定值。如果色彩模式里出现了 L 或 CMYK，说明有灰度图或印刷色图片，需要统一转成 RGB，否则后续 ToTensor 会报通道数不匹配。
参数说明：root 改成你实际的解压路径。如果图片在多层子目录里，需要改成 os.walk 递归遍历。bad_files 里的文件直接删掉或移到 quarantine 目录，不要试图修复，修复成本高于重新下载。
2.3 标签映射与训练/验证划分：别让类别不平衡在划分阶段就埋雷
10 个类别的样本数不一定均匀。假设 cat 有 4000 张，hamster 只有 800 张，直接随机划分会导致验证集里 hamster 可能只有 80 张，评估指标波动很大。常见做法是按类别分层抽样，保证每个类别在训练集和验证集里的比例一致。
import os, shutil, random from sklearn.model_selection import train_test_split random.seed(42) root = "animal_dataset" out_root = "animal_split" val_ratio = 0.2 for cls in sorted(os.listdir(root)): cls_dir = os.path.join(root, cls) if not os.path.isdir(cls_dir): continue files = [f for f in os.listdir(cls_dir) if f.lower().endswith(".jpg")] train_f, val_f = train_test_split(files, test_size=val_ratio, random_state=42) for split, flist in [("train", train_f), ("val", val_f)]: dst = os.path.join(out_root, split, cls) os.makedirs(dst, exist_ok=True) for f in flist: shutil.copy(os.path.join(cls_dir, f), os.path.join(dst, f)) print(f"{cls}: train={len(train_f)}, val={len(val_f)}")这段代码按类别分别做 train_test_split，保证每个类别的验证集比例都是 20%。random_state 固定成 42 是为了可复现，团队协作时大家划分结果一致。输出目录结构是 animal_split/train/cat/ 和 animal_split/val/cat/，可以直接被 torchvision.datasets.ImageFolder 读取。
注意：如果某个类别图片少于 50 张，分层抽样后验证集可能只有不到 10 张，评估结果参考价值有限。这种情况建议要么合并稀有类别，要么用交叉验证代替单次划分。
3. 把 JPG 喂进 PyTorch：Dataset、Transform 与 DataLoader 的最小可跑通配置
3.1 用 ImageFolder 三行代码加载，但 Transform 要按体检结果来定
torchvision 的 ImageFolder 假设目录结构是 root/class_name/xxx.jpg，正好匹配上一步的输出。加载本身很简单：
from torchvision import datasets, transforms from torch.utils.data import DataLoader train_tf = transforms.Compose([ transforms.Resize(256), transforms.RandomResizedCrop(224), transforms.RandomHorizontalFlip(), transforms.ToTensor(), transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]), ]) val_tf = transforms.Compose([ transforms.Resize(256), transforms.CenterCrop(224), transforms.ToTensor(), transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]), ]) train_ds = datasets.ImageFolder("animal_split/train", transform=train_tf) val_ds = datasets.ImageFolder("animal_split/val", transform=val_tf) train_loader = DataLoader(train_ds, batch_size=64, shuffle=True, num_workers=8, pin_memory=True) val_loader = DataLoader(val_ds, batch_size=64, shuffle=False, num_workers=8, pin_memory=True) print("类别映射:", train_ds.class_to_idx) print("训练样本数:", len(train_ds), "验证样本数:", len(val_ds))逻辑说明：训练集用 RandomResizedCrop 做数据增强，验证集用 CenterCrop 保证评估一致性。Normalize 的均值和标准差是 ImageNet 的统计值，如果你用预训练模型就必须保持一致。batch_size 设 64 是 8GB 显存下的安全值，显存不够就降到 32。num_workers 设成 CPU 核心数的一半左右，设太大反而会因为进程切换拖慢速度。
参数说明：Resize(256) 再 Crop(224) 是经典组合，目的是让裁剪区域覆盖更多原图内容。如果你的图片本身很小，比如平均只有 150×150，那 Resize(256) 会放大图片导致模糊，这时候应该改成 Resize(160) 再 Crop(128)，或者直接 Resize 到固定尺寸不做裁剪。
3.2 训练循环里必须打印的三个指标：loss、acc、学习率
一个最小训练循环不需要太多花哨东西，但三个指标必须每 epoch 打印：训练 loss、验证 loss、验证 accuracy。学习率如果用了 scheduler 也要打出来。
import torch import torch.nn as nn from torchvision import models device = torch.device("cuda" if torch.cuda.is_available() else "cpu") model = models.resnet18(weights=models.ResNet18_Weights.IMAGENET1K_V1) model.fc = nn.Linear(model.fc.in_features, 10) # 10类 model = model.to(device) criterion = nn.CrossEntropyLoss() optimizer = torch.optim.AdamW(model.parameters(), lr=1e-3, weight_decay=1e-4) scheduler = torch.optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max=20) for epoch in range(20): model.train() running_loss = 0.0 for imgs, labels in train_loader: imgs, labels = imgs.to(device), labels.to(device) optimizer.zero_grad() outputs = model(imgs) loss = criterion(outputs, labels) loss.backward() optimizer.step() running_loss += loss.item() * imgs.size(0) scheduler.step() model.eval() correct, total, val_loss = 0, 0, 0.0 with torch.no_grad(): for imgs, labels in val_loader: imgs, labels = imgs.to(device), labels.to(device) outputs = model(imgs) loss = criterion(outputs, labels) val_loss += loss.item() * imgs.size(0) preds = outputs.argmax(dim=1) correct += (preds == labels).sum().item() total += labels.size(0) train_loss = running_loss / len(train_ds) val_loss = val_loss / len(val_ds) val_acc = correct / total print(f"Epoch {epoch+1:02d} | train_loss={train_loss:.4f} | " f"val_loss={val_loss:.4f} | val_acc={val_acc:.4f} | " f"lr={scheduler.get_last_lr()[0]:.6f}")这段代码用 ResNet-18 而不是 ResNet-50，因为 28K 张图在 10 类任务上 ResNet-18 已经够用，训练更快，过拟合风险更低。AdamW 的 weight_decay 设 1e-4 是常规起点。CosineAnnealingLR 让学习率从 1e-3 平滑降到接近 0，比 StepLR 更稳。
关键观察点：如果 train_loss 持续下降但 val_loss 在第 5 个 epoch 后开始上升，说明过拟合了，解决办法是加 dropout、加数据增强、或者提前停止。如果 train_loss 和 val_loss 都降不下去，先检查标签映射有没有错位，再检查 Normalize 参数是否匹配预训练模型。
3.3 从 JPG 到 Tensor 的完整链路排查：尺寸、通道、值域
当你遇到 RuntimeError: Given groups=1, weight of size [64, 3, 7, 7], expected input[64, 1, 224, 224] to have 3 channels 这类报错时，说明 DataLoader 吐出来的 Tensor 通道数是 1 而不是 3。原因通常是数据集中混入了灰度图，而 transforms 里没有做 RGB 转换。解决办法是在 Transform 最前面加 transforms.Lambda(lambda img: img.convert("RGB"))。
另一个常见问题是值域。ToTensor 会把 PIL 图片的 0-255 整数转成 0-1 的浮点数，Normalize 再减均值除标准差。如果你自己写了 Dataset 类而忘了 ToTensor，模型收到的就是 0-255 的 Tensor，loss 会直接爆炸成 NaN。
排查顺序建议：先取一个 batch 打印 shape 和 min/max，确认是 [B, 3, H, W] 且值域在 -2 到 2 之间。如果不是，往回查 Transform 链。这一步用下面三行就能验证：
imgs, labels = next(iter(train_loader)) print(imgs.shape, imgs.min().item(), imgs.max().item(), labels[:8])4. 避坑与排查：28K 张 JPG 处理过程中最容易翻车的 5 个地方
4.1 现象：训练到第 3 个 epoch 突然报 OSError: image file is truncated
原因：JPG 文件在下载或解压过程中损坏，PIL 读取到一半发现数据不完整。28000 张图里出现几张损坏文件是正常概率，但 DataLoader 的 num_workers 大于 0 时，报错信息不会告诉你具体是哪个文件。
解决：在体检脚本里已经记录了 bad_files，直接删掉。如果不想重跑体检，可以在 Dataset 的getitem里加 try/except，遇到损坏文件返回一个全零 Tensor 并打印文件路径。更彻底的做法是用 PIL 的 ImageFile.LOAD_TRUNCATED_IMAGES = True，但这会掩盖问题，不推荐。
4.2 现象：验证集准确率比训练集还高
原因：验证集的 Transform 里没有加数据增强，而训练集加了 RandomResizedCrop 和 RandomHorizontalFlip，导致训练集任务更难。这在迁移学习早期是正常现象，但如果 val_acc 比 train_acc 高超过 5 个百分点，就要检查验证集是不是太小或者和训练集有重叠。
解决：确认 train_test_split 没有把同一张图分到两边。如果图片文件名有规律（比如 cat_001.jpg 和 cat_001_copy.jpg），分层抽样可能把副本分到不同集合。去重后再划分。
4.3 现象：num_workers 设为 16 后训练速度反而变慢
原因：DataLoader 的 worker 进程之间会竞争 CPU 和内存带宽，尤其是在图片需要在线做 Resize 和 Crop 的时候。worker 太多导致上下文切换开销超过并行收益。
解决：num_workers 从 4 开始试，逐步加到 8，观察每个 epoch 的耗时。通常 8 核 CPU 设 4 到 6 就够了。如果图片已经提前 resize 到统一尺寸并保存成新文件，worker 可以设更小，因为 IO 压力降低了。
4.4 现象：类别映射顺序和预期不一致
原因：ImageFolder 的 class_to_idx 是按文件夹名称的字母序排列的，不是按你想要的顺序。比如你希望 cat=0、dog=1，但实际可能是 cat=0、dog=1、hamster=2 这样按字母排。如果后续要输出混淆矩阵或做 per-class 分析，顺序错了会导致结论完全反过来。
解决：在训练脚本开头打印 train_ds.class_to_idx 并保存到 JSON 文件。推理时加载同一个 JSON 做映射，不要硬编码。
4.5 现象：JPG 压缩质量导致同一类别内差异被放大
原因：JPG 是有损压缩，不同来源的图片压缩质量不同。有的图片压缩质量 95，有的只有 60，后者会出现明显块效应。模型可能会学到压缩伪影而不是动物特征。
解决：如果数据集来源混杂，考虑在 Transform 里加一个轻微的 GaussianBlur 或者 JPEG 重压缩增强，让模型对压缩伪影不敏感。另一个办法是统一重新保存为质量 90 的 JPG，但这会引入一次额外的质量损失，需要权衡。
5. 让 28K 张 JPG 发挥更大价值：从单标签分类到多任务预训练的进阶用法
当你把 10 类分类跑通、验证集准确率稳定在 85% 以上之后，这个数据集的价值其实还没榨干。28K 张带类别标签的动物图片，可以作为自监督预训练的语料，也可以作为检测或分割任务的分类分支初始化数据。我一般会做两件事。
第一件事是用这个数据集先训一个特征提取器，然后把 backbone 冻结，迁移到只有几百张图的小任务上。具体做法是去掉 ResNet-18 的 fc 层，用 GlobalAveragePooling 之后的 512 维向量作为特征，在验证集上抽出来存成 numpy 数组，再用 SVM 或逻辑回归做小样本分类。这一步能帮你判断这个数据集学到的特征到底有没有泛化性。
import numpy as np from sklearn.svm import LinearSVC from sklearn.metrics import accuracy_score def extract_features(loader, model): model.eval() feats, labels = [], [] with torch.no_grad(): for imgs, lbls in loader: imgs = imgs.to(device) # 去掉fc层，取pooling后的特征 x = model.conv1(imgs) x = model.bn1(x); x = model.relu(x); x = model.maxpool(x) x = model.layer1(x); x = model.layer2(x) x = model.layer3(x); x = model.layer4(x) x = model.avgpool(x) feats.append(x.flatten(1).cpu().numpy()) labels.append(lbls.numpy()) return np.concatenate(feats), np.concatenate(labels) train_feat, train_lbl = extract_features(train_loader, model) val_feat, val_lbl = extract_features(val_loader, model) clf = LinearSVC(max_iter=5000) clf.fit(train_feat, train_lbl) pred = clf.predict(val_feat) print("线性探针准确率:", accuracy_score(val_lbl, pred))这段代码做的是线性探针评估。如果线性探针准确率和微调后的准确率差距在 5 个百分点以内，说明特征质量很高，可以放心迁移到其他任务。如果差距很大，说明模型学到的是和当前类别强相关的特征，泛化性有限。
第二件事是把这个数据集当作数据增强的源头。从 28K 张图里随机裁剪出 224×224 的 patch，配合颜色抖动和随机旋转，可以生成几乎无限多的训练样本。我习惯用这种策略来预热一个更大的模型，比如 EfficientNet-B3 或 ConvNeXt-Tiny，然后再在目标数据集上微调。预训练阶段用这个 28K 数据集跑 30 个 epoch，学习率设 3e-4，batch_size 设 128，通常能比直接从 ImageNet 权重起步提升 2 到 3 个百分点的最终准确率。
最后一个习惯：每次处理完一个 JPG 数据集，我都会把体检脚本、划分脚本、训练脚本和 class_to_idx.json 放在同一个目录下，用 git 管理。下次拿到类似的数据集，改一下 root 路径就能复用。这个习惯帮我省掉了大量重复劳动，也避免了「上次那个脚本参数是什么来着」的翻车现场。希望帮到你。
本文还有配套的精品资源，点击获取
