做毕业设计选了个AI识别草莓是否腐烂的项目，很多人第一反应是“这不就是个图像分类吗，能有多难”。等真上手你会发现，数据、标注、训练、调参、评估，每一步都有坑，而且坑和坑还不一样。这篇文章把我做这个基于Python的深度学习草莓腐烂识别项目的完整过程写下来，从需求拆解到数据集构建、模型训练、评估部署，把关键细节和实际的踩坑经验都摊开讲，给准备做类似图像分类项目的同学一个可以照着走的参考。
1. 项目整体设计与方案选型
1.1 先想清楚：腐烂识别本质上是个图像分类任务
拿到“识别草莓是否腐烂”这个题目，第一步不是急着找模型，而是先做需求拆解。这个任务落在计算机视觉里，就是一个典型的有监督图像二分类问题：输入一张草莓图片，模型输出两个类别的置信度——新鲜或者腐烂。
但这里有几个潜在细节，直接会影响后续的方案设计。
第一个细节是“腐烂”的范围。草莓腐烂的表现不是单一的，有的是表面出现白色霉菌丝，有的是局部变软变褐，有的是整个果子萎蔫出水。如果标注时不做统一标准，模型学到的特征就会漂移。我做的时候把腐烂类别定义为“出现肉眼可见的霉斑、软烂、渗液，或超过三分之一的表面颜色明显暗沉”，这个定义在标注阶段非常重要。
第二个细节是任务场景。做题目的人往往是拿到一批静态图片做离线识别，但如果要落地到实际场景，比如超市的质检台或者果蔬分拣线，模型还需要处理光照变化、拍摄角度、背景干扰等问题。这个我在设计时没想太多，结果在真实测试时吃了亏，后面会讲到。
第三个细节是类别数量。标题写的是“是否腐烂”，也就是二分类。但本质上，更合理的做法是先区分为新鲜、腐烂两类，如果数据充足，还可以再做三级分类（新鲜、瑕疵、腐烂）。我在项目中先做二分类，因为它更贴合题目的原始语义，标注成本相对可控，但模型结构和训练流程是完全通用的，后续想扩类，改动成本不大。
需求明确之后，我的整体设计思路是：Python作为开发语言，使用深度学习框架构建卷积神经网络，采用迁移学习方式加载预训练模型，在自建数据集上进行微调训练，最终输出一个可以识别草莓腐烂状况的分类模型，并做一个最简的调用脚本，方便本地验证和演示。
1.2 为什么不用传统视觉方案，而是选深度学习
聊方案之前，先说下很多人可能都会有的疑问：草莓腐烂识别又不是什么冷门问题，OpenCV就能做，为什么要上深度学习？
传统方案的基本思路是提取人工设计的特征，比如颜色直方图、纹理特征、边缘形状，然后丢给分类器判断。腐烂草莓确实有一些颜色和纹理上的共性，比如暗红色区域增多、表面光泽度下降，理论上传统方案是可行的。
但实际做下来，传统方案有几个硬伤。第一，草莓本身是红色，腐烂后的褐色和暗红色在HSV颜色空间里有重叠，单纯靠颜色阈值极容易误判。第二，光照条件一变，同一个腐烂草莓的颜色特征可能差得很远，固定阈值基本失效。第三，霉菌纹理、渗液反光这些细节很难用手工特征描述清楚。
深度学习就完全不同。卷积神经网络通过多层卷积自动学习特征的层次结构：浅层学边缘纹理，深层学语义特征。你只需要提供标注好的图片，模型自己去找“哪些特征组合最能把新鲜和腐烂分开”。从实际效果来看，深度学习方案的准确率可以做到95%以上，而传统方案在复杂场景下能稳定到90%就不错了。
深度学习的代价是数据和算力需求更大。不过现在预训练模型非常成熟，通过迁移学习，普通笔记本也能在一两个小时内完成训练，这给了我们选择深度学习的底气。
1.3 迁移学习：站在预训练模型肩膀上
草莓腐烂识别的数据集规模，对于深度学习而言通常不算大。如果一个项目从零开始训练一个完整的卷积神经网络，几百万张ImageNet级别的数据量不是个人项目能承担的。这时候迁移学习是最优解。
迁移学习的原理不复杂：我们不去随机初始化网络权重，而是加载一个在海量数据集上预训练好的模型，这些模型已经学会了通用的低级视觉特征——比如边缘、纹理、颜色渐变模式。我们只需要把模型的分类层替换成自己的结构，然后用草莓数据做微调，让模型高层特征适应我们的任务。
我在项目中试过几个常见的预训练模型，可以给一个横向对比：
| 模型 | 参数量 | 训练速度 | 准确率表现（本任务实测） | 适用情况 |
|---|---|---|---|---|
| MobileNetV3 | 较小 | 最快 | 约92%-94% | 追求轻量化，硬件资源受限 |
| ResNet50 | 中等 | 较快 | 约95%-96% | 平衡方案，大部分场景推荐 |
| EfficientNetB0 | 较小 | 较快 | 约95%-97% | 数据量适中时表现很好 |
| VGG16 | 较大 | 较慢 | 约91%-93% | 经典结构，但计算量冗余 |
我最终选了ResNet50作为主力模型，因为它的残差结构解决了深层网络梯度消失问题，微调时收敛更稳定，且生态成熟，踩坑时容易搜到解决方案。后面我会用EfficientNetB0做对比实验，但主力逻辑不变。
2. 数据集构建：决定模型上限的关键一步
2.1 数据要从哪里来
很多人拿到这个题目，第一个反应是去网上找数据集。草莓腐烂识别的公开数据集确实存在，但说实话，质量参差不齐，而且数量通常不够。更麻烦的是，公开数据集的图片背景比较单一，和实际使用场景差异较大。
我建议的组合方案是：公开数据集打底 + 自采图片扩充。
公开数据集方面，可以找农业视觉相关的公开图片集合，重点筛选草莓相关类别，这部分能提供一两千张基础图片。如果找不到现成的，退而求其次，从公开的果蔬质量检测数据集中抽出草莓图片做筛选，也行但工作量稍大。
自采图片是更关键的部分。我当时用了手机拍摄加上从社交平台爬取公开图片的方式，收集了不同角度、不同光照、不同腐烂程度的草莓图片。拍摄时注意一个原则：模仿真实使用场景。俯拍、侧拍、室内灯光、自然光、塑料筐背景、白底背景、桌面背景都要覆盖。这个多样性直接决定了模型在真实场景的泛化能力。
最终我的数据集情况是这样：新鲜草莓约3200张，腐烂草莓约2900张，总共6100张左右，按7:2:1划分成训练集、验证集和测试集。
2.2 标注标准：腐烂的定义一定要统一
标注是整个项目里最容易翻车、也最容易被忽视的环节。很多同学在标注时纯粹凭直觉，结果模型训练出来，验证集指标很漂亮，一测真实照片就拉跨——这时候大概率是标注标准不统一导致的。
我建议在动手标注之前，先写一个标注规范文档，里面定义清楚什么算新鲜、什么算腐烂。比如我定的标准：
- 新鲜：表面颜色鲜红或深红，无明显霉斑、软烂、渗液，果型基本完整。
- 腐烂：表面出现白色或灰绿色霉斑，局部软烂凹陷，有渗液，或超过三分之一的表面明显变褐变暗。
逐张标注单一类别，不搞多标签，保证标注的确定性。遇到模糊样本，比如碰伤的硬伤但没有霉变，我的处理是单独归类为“瑕疵”，不放到新鲜类里，因为这些样本放进哪一类都会给模型造成干扰。
2.3 数据增强：用有限的数据撑起真实世界的多样性
训练集只有四千多张图片，如果不做数据增强，模型很容易过拟合。增强相当于对原始图像做变换，让模型见过更多“同一种样本的不同样子”，原理是告诉模型：翻转、裁剪、调亮度之后，图片里的语义不变。
我做数据增强的配置如下：
from tensorflow.keras.preprocessing.image import ImageDataGenerator datagen = ImageDataGenerator( rotation_range=30, # 随机旋转0-30度 width_shift_range=0.2, # 水平平移比例 height_shift_range=0.2, # 垂直平移比例 shear_range=0.2, # 剪切变换 zoom_range=0.2, # 随机缩放 horizontal_flip=True, # 水平翻转 brightness_range=[0.8, 1.2],# 亮度扰动 fill_mode='nearest' # 填充方式 )这些参数不是随便填的。旋转和平移是为了模拟拍摄角度的变化，亮度扰动是为了应对真实环境中的光照差异。需要注意的是，对草莓识别任务，不要做垂直翻转——你拍草莓不会倒过来拍，垂直翻转会让模型学到错误的空间特征，反而干扰识别。
还有一个细节容易被忽略：数据增强是在线进行的，也就是每个epoch训练时对图片做随机变换，不是一次性生成增强后的图片存到磁盘上。这样可以保证模型每个epoch看到的样本都略有不同，相当于变相扩大了训练集。
2.4 类别不平衡：不要让模型学会“偷懒”
我的数据集中新鲜3200张，腐烂2900张，基本均衡。但如果你的数据不均衡，比如腐烂图片只有几百张，新鲜图片有三千张，模型会学会一个很偷懒的策略：全部预测为新鲜，准确率也能到90%以上。
遇到这种情况，有几个处理手段。最简单的办法是类别加权，在小类别样本计算loss时乘以更高的权重，惩罚模型对小类别的误判。也可以用过采样，对腐烂图片做更多次增强。还可以用数据合成的手段，比如对腐烂图片做裁剪拼接，但这个要小心不要过度P图导致失真。
我实测下来，类别加权在TensorFlow里的实现很简单，训练时传入class_weight参数即可。不过加权比例不是越高越好，太高会导致模型过拟合到样本量小的类别，建议从实际类别比例出发，加权系数不要超过2倍。
3. 模型训练全流程：从跑通到调优
3.1 环境搭建与依赖版本
开始训练之前，环境是一个很容易劝退新手的环节。这里建议直接用一个干净的虚拟环境，避免和系统Python环境混在一起，不然装依赖装到一半版本冲突，心态直接崩。
我的环境配置：
- Python 3.8
- TensorFlow 2.8
- NumPy 1.21
- Matplotlib 3.5
- scikit-learn 1.0
创建虚拟环境：
python -m venv stawberry_env source stawberry_env/bin/activate pip install tensorflow==2.8 numpy matplotlib scikit-learn这里有个经验：如果有独立显卡，建议装GPU版TensorFlow，训练速度能快好几倍。但如果电脑是Windows又没CUDA经验，别折腾GPU了，直接用CPU跑RetNet50微调，加上迁移学习，总共也就一两个小时的事。
3.2 加载预训练模型与修改分类层
模型的加载方式决定了后续微调的效果。我用的是Keras实现，直接加载在ImageNet上预训练的ResNet50。关键步骤是把顶层分类层替换成二分类输出。
代码如下：
from tensorflow.keras.applications import ResNet50 from tensorflow.keras.models import Model from tensorflow.keras.layers import Dense, GlobalAveragePooling2D from tensorflow.keras.optimizers import Adam base_model = ResNet50( weights='imagenet', include_top=False, # 去掉顶部全连接分类层 input_shape=(224, 224, 3) ) # 冻结基座模型参数，先只训练新加的分类层 base_model.trainable = False x = base_model.output x = GlobalAveragePooling2D()(x) x = Dense(256, activation='relu')(x) x = Dense(2, activation='softmax')(x) # 二分类 model = Model(inputs=base_model.input, outputs=x) model.compile( optimizer=Adam(learning_rate=1e-4), loss='categorical_crossentropy', metrics=['accuracy'] )这里有一个训练策略值得重点讲：分阶段微调。第一次训练时，把基座模型冻结，只训练新加的Dense层和输出层。这样做的原因是，预训练模型的浅层特征已经很成熟，如果一开始就让它参与训练，较大的梯度更新会把预训练学到的特征破坏掉。
跑几个epoch，新分类层收敛得差不多之后，再解冻基座模型的部分层参与微调，学习率调低。这种策略在数据量不是特别大的个人项目里，效果远好于一下全量训练。
3.3 训练参数到底怎么定
训练参数的设定是个权衡，这里把关键参数的逻辑讲透。
Batch Size我选了32。这个值不算大，因为草莓图片尺寸是224×224，显存占用适中，batch太大容易导致收敛震荡，太小则梯度噪声大、训练慢。如果你的显存或者内存比较小，调成16也能跑，只是收敛速度稍慢。
Epoch数量不是固定的。我第一阶段的设定是20个epoch，第二阶段微调再跑20个epoch。但注意，这些数字不是拍脑袋定的，需要配合验证集的loss变化情况来调整。我建议使用早停机制：如果连续5个epoch验证集loss没有下降，就提前停止训练。这个方法能省时间，也能防止后期过拟合。
from tensorflow.keras.callbacks import EarlyStopping early_stop = EarlyStopping( monitor='val_loss', patience=5, restore_best_weights=True ) history = model.fit( train_generator, validation_data=val_generator, epochs=40, callbacks=[early_stop] )Learning Rate是训练中最重要的超参数之一。我第一阶段的初始学习率设为1e-4，因为基座是冻结的，新增层可以从这个学习率开始快速学习。第二阶段的微调阶段，学习率降到1e-5，防止更新步伐太大破坏预训练权重。如果你发现训练loss震荡明显，优先考虑降低学习率。
3.4 训练过程中的观察方法，不能只盯准确率
训练跑起来之后，最容易犯的错是只看准确率指标。准确率是整体指标，它会把模型的缺陷掩盖掉。比如模型对新鲜草莓识别很好、对腐烂草莓经常漏检，总准确率可能依然有93%，但这个模型在产品场景中毫无价值。
我建议把训练过程的可视化做全，至少要看四个东西：训练loss、验证loss、训练准确率、验证准确率。尤其是loss曲线，它能更快告诉你模型是在正常收敛还是在过拟合。
如果训练loss持续下降，但验证loss先降后升，这是过拟合的典型信号。这时候的处理顺序是：
- 增加数据增强强度，比如把rotation_range从30加大到45。
- 在分类层加入Dropout，随机丢弃一部分神经元输出。
- 降低模型复杂度，换用MobileNetV3这类更轻量的模型。
- 增加数据量，这是最根本的手段。
我第一阶段训练时，ResNet50在验证集上出现过明显的过拟合苗头。当时的处理是增加了一个Dropout层：
from tensorflow.keras.layers import Dropout x = Dense(256, activation='relu')(x) x = Dropout(0.3)(x) # 随机丢弃30%的神经元 x = Dense(2, activation='softmax')(x)加完Dropout之后，验证集loss曲线明显平缓，效果立竿见影。
训练结束后，最好画一个混淆矩阵，确切知道每一类被识别的情况。这部分我放在评估章节详细说，但训练阶段就要有意识地记录混淆矩阵到每一个epoch，方便回溯哪个阶段模型开始退化。
4. 评估、部署与常见问题排查
4.1 准确率之外：真正该关注的评估维度
训练结束，模型在测试集上的准确率到了95.6%，听起来不错。但我做了混淆矩阵之后发现一个问题：腐烂草莓被识别成新鲜草莓的比例明显高于反方向，也就是说模型对腐烂样本不够敏感。
这个现象背后有原因：训练集中腐烂草莓的形态多样性不足，霉斑早期和新鲜草莓表面光泽差异不显著，模型会把部分早期腐烂样本归入新鲜类别。在分类任务里，要区分的是类的代价。在草莓质检场景，漏检腐烂草莓的代价远高于误检新鲜草莓，所以仅仅看准确率是不够的，还要关注每一类的精确率和召回率。
精确率和召回率的计算方法：
- 精确率：预测为腐烂的样本中，确实腐烂的比例。
- 召回率：真实腐烂样本中，被正确找出来的比例。
我在调优时发现，把最后输出层的阈值从默认的0.5调整到0.6以后，腐烂类别的召回率有了小幅提升，代价是新鲜类别的精确率略微下降。具体阈值怎么选，要看你的应用场景更重视哪个方向。如果做的是筛选烂果，建议优先保证召回率，宁可多扔掉几个好果也不要放过坏果。
4.2 在实际场景测试时会踩的坑
模型训练得再好，部署到实际场景也会有翻车的时候，这部分把我的实测经验列一下。
最典型的场景是光照变化。训练数据里如果有大量暖色灯光下拍摄的图片，模型很容易把偏暗偏黄的正常草莓误判为腐烂。解决方法是拍摄数据时要有意识地覆盖不同色温的光源，同时数据增强里把亮度扰动、色彩抖动加上，让模型不那么依赖绝对色彩值。
第二个常见问题是背景干扰。训练时如果大部分图都是纯色背景，模型会学到“背景特征+草莓特征”的组合，而不是纯粹的草莓特征。换到复杂背景的真实照片，准确率会直线下降。我当时做了一批增强，专门把草莓从背景中裁剪出来训练了一个版本，效果稳定提升。
第三个问题是分辨率变化。训练时统一resize到224×224，如果输入图片分辨率很低，细节特征丢失，识别效果会变差。实际部署时应尽量保证输入图片中草莓区域的边长不低于200像素。
4.3 模型导出与一个最小可用的推理脚本
部署阶段，我把训练好的模型导出为TensorFlow SavedModel和ONNX两种格式。ONNX格式后期可以转换成其他端侧框架使用，兼容性较好。导出代码：
model.save('strawberry_model_savedmodel')然后写一个最小的推理脚本来验证模型效果：
import numpy as np from tensorflow.keras.models import load_model from tensorflow.keras.preprocessing import image model = load_model('strawberry_model_savedmodel') def predict_strawberry(img_path): img = image.load_img(img_path, target_size=(224, 224)) img_array = image.img_to_array(img) img_array = np.expand_dims(img_array, axis=0) img_array = img_array / 255.0 # 归一化 result = model.predict(img_array)[0] fresh_prob, rotten_prob = result if rotten_prob >= 0.6: return f'腐烂（置信度：{rotten_prob:.2f}）' else: return f'新鲜（置信度：{fresh_prob:.2f}）' print(predict_strawberry('test_01.jpg'))这里特别要提归一化的问题。我在训练时如果用了ImageDataGenerator的rescale=1./255，那么在推理时也一定要做同样的归一化。社区里常见的问题就是训练时归一化、推理时忘了归一化，结果模型输出概率变得很奇怪。这类问题排查思路很简单：检查输入的数值范围是否和训练时一致。
另一个经验是，直接把模型加载后做逐张图预测，速度很慢，每张约50-100毫秒。如果你要对一批图片做识别，建议用batch_predict方式，一次性传入多张图，能快好几倍。批量预测代码很简单，把图片数组堆叠成一个batch再predict即可。
4.4 常见问题速查表
我把项目过程中遇到的典型问题整理成了一个表格，方便排查：
| 现象 | 可能原因 | 处理办法 |
|---|---|---|
| 训练loss不下降 | 学习率过高或模型结构错误 | 降低学习率，检查分类层输出维度 |
| 训练loss下降但验证loss上升 | 过拟合 | 增加数据增强、加Dropout、减少微调层 |
| 腐烂样本漏检率高 | 类别不平衡或腐烂特征多样性不足 | 类别加权，补充早期腐烂样本数据 |
| 模型对复杂背景不鲁棒 | 训练数据背景单一 | 增加复杂背景数据，使用目标检测先裁剪草莓区域 |
| 推理结果不稳定 | 输入图片预处理方式不一致 | 检查归一化、resize尺寸是否与训练一致 |
| 加载模型报shape错误 | 输入尺寸和训练时不匹配 | 统一使用224×224的输入大小 |
| 训练速度极慢 | CPU训练大型模型 | 换轻量化模型，或减小输入尺寸 |
5. 项目扩展方向与个人经验总结
5.1 从识别到检测：这个项目可以往哪升级
草莓腐烂分类只是一个基础任务，做完之后可以自然延伸到几个更有实用价值的方向。第一个方向是目标检测，不只要判断腐烂与否，还要定位腐烂区域在图片中的位置，输出一个边界框。这对分拣机器人来说更有意义。框架方面可以选YOLO系列或者Detectron2，数据标注要换成XML或JSON格式的边界框标注，工作量比分类大得多。
第二个方向是腐烂程度的定量评估。用回归模型预测腐烂面积占比，或者做一个三级分类（轻度、中度、重度）。这类需求在农产品质量分级场景很常见，模型结构和二分类差别不大，主线就是改输出层和标注规范。
第三个方向是部署到实际硬件。比如用Flask或者FastAPI包装成Web API，让手机端小程序可以调用识别接口。也可以导出成TensorFlow Lite，模型体积压缩到10MB以内，直接跑在树莓派或者安卓设备上。农产品质检场景中，端侧部署的价值通常大于服务器部署，因为网络延迟在分拣线上是不可接受的。
5.2 我给这个项目的一些总结
和这个项目打交道的时间不长，但真的踩了一遍完整流程之后，有几个体会想单独说说。
数据集的质量比模型结构更决定上限。我在项目中期试过用一个简单的MobileNetV3，在精心整理的数据集上跑出来的效果，竟然不输给在粗糙数据集上训练的ResNet50。这个结果让我印象很深，也验证了一句话：在深度学习项目里，数据标注的标准统一，比堆模型参数量重要得多。
关于工具选型，如果你的目标是快速跑通流程，TensorFlow和Keras的组合确实很省心。如果你偏好PyTorch的灵活性，也可以用torchvision的预训练模型，核心思想一样，代码写法上各有习惯。选择哪个框架不重要，重要的是把训练流程和评估逻辑想清楚。
最后一点，也是我反复提醒自己的：不要只盯着准确率数字。一个模型能不能用，要看它在真实场景里面对没见过的新数据时表现如何。我建议每个做完训练的人，都拿出相机拍几十张全新的草莓照片去测试。这一测，很多隐藏问题就都暴露了。
我个人后续做类似项目的心得是，优先把推理脚本的工程鲁棒性做扎实，因为识别模型本身在不熟悉的数据集上出现退化是正常概率事件，真正让项目像“可以做的东西”靠的是数据迭代和部署验证这两件事。如果你正在做这个题目，希望这些经验能让你少走一些弯路。
