简介：这套玉米病害图像分类数据集聚焦深度学习图像分类方向，包含约2800张已标注的玉米叶片图片，覆盖尾孢叶斑灰、普通锈蚀等4个类别，专门服务于需要训练数据支撑的CNN分类实验、本科毕设或入门级视觉项目。压缩包共计2000个文件，主体为1998张JPG图像，另配备1个类别配置JSON与1个可视化show脚本；整体约49.46MB，下载与解压都较为轻量。数据已预先划分训练集、验证集和测试集，同类图片集中存放，拿到后即可按常规流程开展模型训练与评估；JSON文件清晰列出类别映射，show脚本可快速预览样本图像与标签，省去自行整理的繁琐步骤。此外还可以参考作者主页的CNN分类网络改进系列及更多图像、分割、目标检测项目，进一步拓展研究思路。目前该数据集已有286人浏览学习，适合需要现成标注数据集快速启动实验的读者。
1. 玉米病害图像分类：这份 2800 张已标注数据集的真实使用价值
玉米叶片上的病害斑一旦蔓延，靠肉眼区分「灰叶斑」和「普通锈病」很容易翻车——两者都让叶片大面积变色，只是病斑形态和孢子堆颜色不同，拍成照片后连有经验的人也得反复确认。做农业视觉的人应该都经历过这种「对着样本犹豫半天」的时刻，而手头没有一份干净、已标注、可直接训练的数据集，所有犹豫都得自己扛。这份玉米病害图像分类数据集正好卡在这个痛点上：约 2800 张图片，覆盖 4 个图像分类类别，按 train/val/test 三份目录提前划分好，同一个类别的图片各自归拢存放，拿到手不需要再做文件夹整理和标签重写。它适合两类人——一是做农业病害识别、图像分类落地的开发者，需要一个真实场景的标注数据来验证模型；二是刚接触 CNN 分类的初学者，想在一个规模适中、结构清楚的真实数据集上把「数据加载 → 训练 → 评估」整个流程跑通。下面从目录结构讲起，一路到基线和迁移学习，最后把我在复现中真实踩过的坑写出来。
2. 数据集目录与标注格式：从文件名、JSON 到 train/val/test 划分
2.1 类别定义：文件名里能看出的三类与 JSON 里定义的第四类
拿到数据先别急着训练，先把类别映射搞清楚。从文件名能直接读出三类信息：Corn_(maize)_healthy开头的是健康样本，blight_in_corn_leaf开头的是尾孢叶斑灰（灰叶斑），common_rust_in_corn_leaf开头的是普通锈病。摘要里写了分类个数为 4，所以还有第四类，它的具体命名和标签索引定义在资源里的 JSON 配置文件中。
我一般会先打开 JSON 文件确认 label 字典，不要把类别顺序猜死。常见的做法是 JSON 里存一个{0: "healthy", 1: "blight", 2: "common_rust", 3: "其他"}之类的映射，但不同资源命名习惯不一样，以你手头这份 JSON 实际内容为准。
| 文件名前缀 | 对应病害 | 我判断的依据 |
|---|---|---|
| Corn_(maize)_healthy | 健康玉米叶片 | 前缀直译为健康样本 |
| blight_in_corn_leaf | 尾孢叶斑灰 / 灰叶斑 | blight 在玉米叶部病害里通常指灰叶斑 |
| common_rust_in_corn_leaf | 普通锈病 | rust 对应锈病，common 区分于南方锈病 |
| 第四类 | 以 JSON 中定义为准 | 文件名无明显统一前缀，需要看配置 |
2.2 train/val/test 划分：目录结构决定数据读取方式
这份数据集的划分逻辑很清楚：训练集、验证集、测试集各自独立目录，每个目录下再按类别分子文件夹，同一类图片放在一起。目录结构大致是这样：
corn_disease_dataset/ ├── train/ │ ├── healthy/ │ ├── blight/ │ ├── common_rust/ │ └── class_4/ ├── val/ │ ├── healthy/ │ ├── blight/ │ ├── common_rust/ │ └── class_4/ └── test/ ├── healthy/ ├── blight/ ├── common_rust/ └── class_4/这种结构的好处是 PyTorch 的ImageFolder可以直接按子文件夹名生成标签，省掉手写 CSV 标签的环节。注意ImageFolder的类别顺序按文件夹名字母序排列，而不是按你视觉上的逻辑顺序，所以后面训练完分析混淆矩阵时，一定要打印dataset.class_to_idx确认索引对应关系，否则会出现「预测对了但报表里对不上」的乌龙。
2.3 运行 show 脚本做第一轮可视化：确认标注与图片能对上
资源里附带了一个 show 脚本，作用是可视化数据集。我第一次拿到数据一定先跑它，不是走形式，而是为了确认三件事：图片能不能正常解码、标注类别和图片内容是否匹配、有没有混入损坏文件。
python show.py --data_dir ./corn_disease_dataset --split train脚本会把 train 目录下每个类别的若干张图片拼接展示，同时打印类别名和样本数。跑完之后我通常再手动抽查几张：重点看blight类里有没有混入rust的图片。这类误标在农业数据集中不罕见，肉眼能确认的尽量在前面排除掉，后面模型训练才不会被脏数据带偏。
如果跑脚本时报错，优先看路径写对没有，Windows 下注意--data_dir用绝对路径或相对路径要一致，这个坑后面专门讲。
3. 用 PyTorch 搭建 CNN 分类基线：从文件夹到可训练的数据流
3.1 自定义 Dataset 类：按子目录自动映射标签
虽然ImageFolder能直接读这种结构，但自己写一个 Dataset 类更可控，尤其是后面要加数据增强、调整样本权重时，自定义类扩展起来不别扭。下面这个实现是数据处理流程里最常用的写法：
import os import torch from PIL import Image from torch.utils.data import Dataset class CornDiseaseDataset(Dataset): def __init__(self, root_dir, transform=None): self.root_dir = root_dir self.transform = transform self.classes = sorted(os.listdir(root_dir)) self.class_to_idx = {cls: idx for idx, cls in enumerate(self.classes)} self.samples = [] for cls in self.classes: cls_dir = os.path.join(root_dir, cls) for fname in os.listdir(cls_dir): if fname.lower().endswith(('.jpg', '.jpeg', '.png')): self.samples.append((os.path.join(cls_dir, fname), self.class_to_idx[cls])) def __len__(self): return len(self.samples) def __getitem__(self, idx): path, label = self.samples[idx] image = Image.open(path).convert('RGB') if self.transform: image = self.transform(image) return image, label逻辑说明：初始化时先扫描 root_dir 下的子文件夹，用sorted保证类别顺序稳定，然后把每个图片的完整路径和标签索引组成(path, label)对存进self.samples。__getitem__里用PIL读图并转 RGB 三通道——这一步对后面归一化很重要，灰度图或 RGBA 图不转会直接炸在张量形状上。convert('RGB')能统一所有输入的通道数。
几个关键参数，root_dir传 train 或 val 或 test 的路径；transform先传None跑通流程，后面再补增强；samples直接用列表而不是ImageFolder的find_classes，好处是能自己控制过滤逻辑，坏处是如果数据集里有非图片文件会被跳过，但如果文件夹里混入了隐藏文件（比如.DS_Store），上面的endswith过滤已经兜住了。
3.2 图像预处理：缩放尺寸、中心裁剪与归一化参数
数据加载之后的一半功夫在预处理。农业图像分类的输入尺寸我习惯统一到 224×224，这是 ResNet、VGG、ViT 这些主流模型的标准输入。在torchvision.transforms里，「缩放 → 裁剪 → 归一化」的顺序不要随意调换。
from torchvision import transforms transform_train = transforms.Compose([ transforms.Resize(256), transforms.CenterCrop(224), transforms.ToTensor(), transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]) ]) transform_eval = transforms.Compose([ transforms.Resize(256), transforms.CenterCrop(224), transforms.ToTensor(), transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]) ])逻辑说明：先Resize(256)把短边拉长到 256，再CenterCrop(224)从中间取 224×224，这样比直接Resize(224)保留更多边缘信息，对叶片这种边缘纹理重要的目标更友好。ToTensor()会把 PIL 图像从 HWC 转成 CHW，并将像素值从 0-255 缩放到 0.0-1.0。Normalize用的均值和方差是 ImageNet 预训练模型的通用参数，如果你后面要用预训练权重做迁移学习，这组参数必须保持，否则加载的权重统计信息对不上。
验证集和测试集不建议加随机增强，只保留缩放裁剪归一化，保证评估时输入分布稳定。如果你自己重新统计了数据集的均值和方差，可以把Normalize换成自己的统计值，但前提是训练和验证必须用同一组，否则相当于拿两把尺子量同一个东西。
3.3 训练配置：batch、学习率、损失函数与迭代策略
数据流搭好后，训练配置决定了收敛质量和时间成本。2800 张图的数据量属于小样本图像分类，模型容量不能太大，先跑一个 ResNet18 基线基本够用。
import torch.nn as nn import torch.optim as optim from torch.utils.data import DataLoader BATCH_SIZE = 32 EPOCHS = 60 LEARNING_RATE = 1e-3 WEIGHT_DECAY = 1e-4 train_dataset = CornDiseaseDataset('./corn_disease_dataset/train', transform_train) val_dataset = CornDiseaseDataset('./corn_disease_dataset/val', transform_eval) train_loader = DataLoader(train_dataset, batch_size=BATCH_SIZE, shuffle=True, num_workers=4, pin_memory=True) val_loader = DataLoader(val_dataset, batch_size=BATCH_SIZE, shuffle=False, num_workers=4, pin_memory=True) model = torchvision.models.resnet18(pretrained=False) model.fc = nn.Linear(model.fc.in_features, num_classes) criterion = nn.CrossEntropyLoss() optimizer = optim.Adam(model.parameters(), lr=LEARNING_RATE, weight_decay=WEIGHT_DECAY) scheduler = optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max=EPOCHS)参数说明：BATCH_SIZE取 32 是 224×224 输入下显存和梯度稳定性的平衡点，如果你的 GPU 显存只有 4G，降到 16 或 8 都行，但梯度下降会变抖。LEARNING_RATE用 Adam 配 1e-3 是常见起点，这个量级的数据集不需要更大的学习率。WEIGHT_DECAY加 1e-4 的正则能压住一点过拟合，后面增强策略如果加得多，这个值可以再降。CosineAnnealingLR让学习率在每个 epoch 周期里平滑衰减，比固定学习率的收敛稳定性好，尤其是训练后期。
训练循环里建议每轮在验证集上算一次准确率，并保存验证集最优权重，不要用最后一轮权重做评估——损失函数波动导致最后一轮不一定是最优点。
4. 数据增强与迁移学习：把 2800 张的小数据集榨出更高精度
4.1 在线增强：随机翻转、旋转与颜色抖动
2800 张图对四分类任务来说够跑通流程，但直接硬训很容易过拟合，表现在训练集准确率逼近 99%，验证集卡在 70% 上下。最常见的解决办法是加在线数据增强，在每次取样本时动态生成变化后的图片，不额外占用磁盘空间。
transform_train_aug = transforms.Compose([ transforms.Resize(256), transforms.RandomResizedCrop(224, scale=(0.7, 1.0)), transforms.RandomHorizontalFlip(p=0.5), transforms.RandomRotation(degrees=15), transforms.ColorJitter(brightness=0.2, contrast=0.2), transforms.ToTensor(), transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]) ])增强逻辑：RandomResizedCrop替代原来的CenterCrop，每次随机裁剪不同比例的叶片区域，模拟拍摄距离和构图的变化。RandomHorizontalFlip在玉米叶片没有方向性这一假设下是安全的，农业图像不像车牌识别那样有强方向约束。RandomRotation控制在 15 度内，超过 20 度会让叶片边缘出现大量裁切空洞，模型学到的可能是「空洞特征」而不是病害特征。ColorJitter模拟不同光照和拍摄条件下的色偏，这对区分锈病孢子堆的橙色和灰叶斑的灰色有帮助，但亮度和对比度的系数不要超过 0.3，否则颜色分布失真，反而让模型去学错误的颜色规律。
我实际跑下来，加这批增强后验证集准确率通常能提升 3 到 8 个百分点，具体取决于原始数据的光照多样性。如果提升不明显，优先怀疑增强过猛，缩回到更保守的旋转角度和抖动系数。
4.2 换用预训练 ResNet50 并冻结浅层
小样本图像分类场景里，迁移学习往往比从零训练涨点更直接。从零训练 ResNet18 的基线大约能跑到 88%-91% 验证集准确率，换成 ImageNet 预训练的 ResNet50，只训练最后几层，通常能上到 94%-96%。
import torchvision.models as models model = models.resnet50(pretrained=True) for param in model.parameters(): param.requires_grad = False for param in model.layer4.parameters(): param.requires_grad = True model.fc = nn.Linear(model.fc.in_features, num_classes) torch.nn.init.kaiming_normal_(model.fc.weight)迁移学习参数说明：pretrained=True会加载 ImageNet 上预训练权重，对叶片纹理和边缘的底层特征已经有一定识别能力。冻结layer1到layer3的参数，只放开layer4和最后的全连接层，是因为layer4提取的是语义级别特征，最接近病害斑纹这种高级模式，而浅层特征是通用的边缘、颜色块，不需要针对玉米叶片重新学。kaiming_normal_初始化新分类头，避免全连接层的随机初始化数值范围与预训练特征不匹配。如果训练集和 ImageNet 数据分布差距大（比如你的数据全是显微镜图），可以考虑多放开layer3，但 2800 张图的数据量下，冻结越多越稳，放开越多过拟合风险越大。
4.3 用混淆矩阵定位易混类：锈病 vs 灰叶斑的错误模式
准确率只是表象，真正有用的信息在混淆矩阵里。训练结束后把验证集的预测结果和真实标签拉出来，统计每一类的错分情况：
import numpy as np from sklearn.metrics import confusion_matrix import matplotlib.pyplot as plt all_preds, all_labels = [], [] model.eval() with torch.no_grad(): for inputs, labels in val_loader: outputs = model(inputs) preds = torch.argmax(outputs, dim=1) all_preds.extend(preds.cpu().numpy()) all_labels.extend(labels.cpu().numpy()) cm = confusion_matrix(all_labels, all_preds) class_names = list(train_dataset.class_to_idx.keys()) print("类别顺序:", train_dataset.class_to_idx) print("混淆矩阵:\n", cm)逻辑说明：跑完整个验证集后，把预测结果和真实标签收集起来交给confusion_matrix生成方阵。重点看对角线以外的高频项——如果「普通锈病」经常被误判成「尾孢叶斑灰」，说明两类在颜色和纹理上确实存在交叉区域，这时要么增加锈病类的训练样本权重，要么回看数据里是不是有标注反了的图片。我在这个数据集上遇到过类似情况，最后发现是RS_Rust和common_rust这两批图片混用了。打印类别顺序那行不能省，ImageFolder或自定义 Dataset 的类别顺序是字典序还是目录序，直接影响混淆矩阵的行列含义。
5. 避坑指南：从加载到训练的五个高频问题
5.1 问题一：图片读取报错，提示图像损坏或通道数异常
现象：训练跑到某个 epoch 时突然报PIL.UnidentifiedImageError或image file is truncated，训练中断。原因：数据集里的image (XX).JPG这类文件可能是从不同渠道收集来的，部分图片是灰度图、CMYK 色彩空间，或者文件本身不完整。解决：在 Dataset 的__getitem__里加异常捕获，读不到或解码失败的样本直接跳过并打印路径；同时用convert('RGB')统一通道格式。更彻底的做法是先跑一遍全量扫描脚本，把所有损坏文件单独移到corrupted/目录，避免污染训练。
5.2 问题二：文件名带空格和括号导致路径解析失败
现象：RS_Rust 2344.JPG和image (26).JPG这类文件名在 Linux 下没问题，但在 Windows 的命令行传给脚本参数时，空格会把路径拆成两段，括号在某些 shell 环境下有特殊含义。原因：数据收集源命名不规范，空格和括号是元凶。解决：在代码里统一用os.path.join构造路径，不要手动拼接字符串；命令行传参时给路径加引号，比如--data_dir "./corn disease dataset"。如果脚本内部用了split()处理文件名，改成基于os.path.basename的解析。
5.3 问题三：训练集准确率接近 100%，验证集却不到 75%
现象：典型的过拟合信号。原因有两个，一是 2800 张图对 CNN 来说偏少，模型容量过大记住了训练集细节；二是数据增强没加，或者增强强度太低。解决：先加 4.1 里那组在线增强，再把 ResNet18 换成带 Dropout 的结构或者在fc前插入一个nn.Dropout(p=0.5)。如果增强后验证集还上不去，检查 train/val/test 三份数据是不是有重叠图片——有些数据集划分时不严谨，同一张图的不同文件副本被同时分进 train 和 val，这属于数据泄漏，只能人工复查文件名去重。
5.4 问题四：show 脚本在 Windows 下中文乱码或图片弹窗空白
现象：运行资源的 show 脚本后，图片窗口能打开但标题里的中文类别名显示成方块，或者窗口只显示灰色背景。原因：脚本默认在 Linux/macOS 环境下写的，Windows 的 matplotlib 默认字体不含中文字符，且plt.show()在某些远程环境会阻塞。解决：在脚本顶部加中文字体配置：
import matplotlib.pyplot as plt plt.rcParams['font.sans-serif'] = ['SimHei', 'Microsoft YaHei'] plt.rcParams['axes.unicode_minus'] = False同时在plt.show()前加plt.savefig('./visual_check.png')，先落盘再弹窗，这样即使窗口空白也能从保存的图片里确认内容。
5.5 问题五：训练时显存不足或训练速度极其缓慢
现象：CUDA out of memory或一个 epoch 要跑好几分钟。原因：num_workers设得过大导致 CPU 争抢，或者pin_memory在无 GPU 环境下没生效。解决：显存问题优先把BATCH_SIZE从 32 降到 16，或改输入尺寸到 160×160（ResNet 支持任意尺寸输入，最后接全局池化）。速度问题把num_workers从 4 降到 2，如果还是在 CPU 上跑，直接换 Google Colab GPU 跑迁移学习方案，ResNet18 从零训 60 轮在 T4 上大约 15 分钟内完成。
6. 把训练好的模型接进实际识别流程：单张推理与 Grad-CAM 可视化
前面的训练和评估都是离线的，真到要给别人用或者做 demo 展示时，还得把权重接进一张图片的推理链路里。单张推理比训练流程简单，但有一个容易忽略的细节：预处理必须和训练时完全一致，少一步Normalize或尺寸对不上，预测置信度都会漂。
from PIL import Image import torch.nn.functional as F checkpoint = torch.load('./best_model_resnet50.pth', map_location='cpu') model.load_state_dict(checkpoint['model_state_dict']) model.eval() img = Image.open('./test/common_rust_in_corn_leaf3402.jpg').convert('RGB') img_tensor = transform_eval(img).unsqueeze(0) with torch.no_grad(): logits = model(img_tensor) prob = F.softmax(logits, dim=1) pred_idx = torch.argmax(prob, dim=1).item() print(f"预测类别: {class_names[pred_idx]}, 置信度: {prob[0][pred_idx].item():.4f}")这里unsqueeze(0)是给图片张量加一个 batch 维度，因为模型期待输入是(N, C, H, W)四维张量。map_location='cpu'保证即使没有 GPU 也能加载权重，部署到服务端时这个参数很常用。置信度低于 0.7 时我会额外打一个预警标记，这类图片一般需要人工复核，不做自动判别。
除了单张推理，我每次做完玉米病害分类模型都会顺手做一次 Grad-CAM 可视化，这步对理解模型是不是真在看病斑很有用。实现思路是注册最后一个卷积层的 hook，把输出特征的梯度拿回来，和特征图做加权求和，最后叠在原图上。如果热力图集中在叶片病斑区域，说明模型学到了该学的东西；如果热力图散布在整片叶子甚至背景光照不均匀的地方，说明模型可能在用颜色或明暗作弊，这时候回头看增强策略和数据清洗是否到位。
model.layer4.register_forward_hook(...) # 保存 layer4 输出特征图 model.layer4.register_full_backward_hook(...) # 保存 layer4 梯度具体 hook 写法在网上有很多模板，核心就两步：记录layer4的激活值，反向传播后拿预测类别对应的梯度对激活值做加权平均，得到热力图。从那以后我每次换新数据集做分类，都会强制走一遍「训练基线 → 加增强 → 迁移学习 → 混淆矩阵 → 热力图」这条固定流程，尤其是热力图这一步，能省掉后面大量解释模型为什么误判的口舌。这个流程在这个数据集上跑通过，2800 张图像分类很小但五脏俱全，希望帮到你。
本文还有配套的精品资源，点击获取
