简介：这是一份基于自动机器学习的水色图像水质评价系统完整项目，源自个人课设，答辩评分95分，代码经调试可运行。项目面向计算机、通信、人工智能、自动化等专业学生与从业者，可作为课程设计、大作业或毕业设计参考，其核心通过PIL与numpy对水色图片进行中心区域截取、RGB通道一二三阶矩特征提取，并利用scikit-learn构建决策树、K近邻、朴素贝叶斯、SVM、神经网络等模型，结合GridSearchCV调参与混淆矩阵评估，完整呈现数据清洗到模型评价的流水线。压缩包共211个文件，含203张五类水色jpg原图、4个json特征与标签数据、2个ipynb代码、1个md说明及1个docx设计报告，整体约159MB，目录结构清晰。目前已有786人学习浏览，值得下载用于理解自动机器学习落地流程、图像特征工程方法与多模型对比调优思路，稍加改造即可迁移到同类水质或图像分类任务。
1. 用一张水面照片判断水质：自动机器学习水色图像评价项目到底怎么落地
手机拍一张水面照片，系统几秒内返回水质等级，这个看起来有点黑匣子的过程，背后就是自动机器学习在图像分类上的完整落地。这份资源是一套基于 Python 的水色图像水质评价系统，压缩包里包含了源码、设计报告、项目说明和数据集，训练和推理代码跑通后，输入任意一张水面照片就能输出 I 到 V 类的水质等级。适合两类人：一类是做毕设的计算机或环境专业学生，需要一套完整、可复现、能写进论文的课题；另一类是想快速验证 AutoML 图像分类流程的从业者，不想从零手写 ResNet，也不想在调参上耗掉两周。下面从选型、数据整理到训练踩坑，按我实际跑过的顺序讲。
2. 为什么选自动机器学习：从手工调参到 AutoGluon 的选型逻辑
2.1 传统 CNN 流程的最大成本：特征试错与超参组合爆炸
水色图像分类这件事，从任务本身看不算难：图像数量不大、类别清晰、背景相对单一。但真要用传统方式做，成本全耗在三个地方。第一个是特征工程，你得先试颜色矩、纹理特征、灰度共生矩阵这些手工特征，试完发现分类精度卡在 85% 上不去，再回头换特征，一轮就是两三天。第二个是网络选型，VGG、ResNet、EfficientNet 各有各的脾气，数据量小的时候 ResNet-18 可能比 ResNet-50 效果更好，这不是靠推理能拍板的，得一个个跑。第三个是超参，学习率、batch size、weight decay、dropout、数据增强强度，每两个组合之间都有交互，手工网格搜索五六组就跑不动了。
我拆过不少类似的毕设项目，最常看到的翻车现场是：同学花了两周把 ResNet 代码从 GitHub 拷下来，改了几行数据加载，然后训练精度一直 70% 上下，论文里只能写「模型收敛缓慢，有待优化」。这不是代码问题，是超参和训练策略的问题。自动机器学习解决的就是这一段：把网络结构选择、超参搜索、数据增强策略、早停判断全部交给搜索机制去跑，人只需要提供整理好的数据和评估方式。对水色图像这种中小规模数据集，AutoML 的收益比在大数据集上更明显，因为人工试错的边际成本反而更高。
2.2 AutoGluon 做了什么：网络结构搜索、自动调参和迁移学习
这份资源里走的是 AutoGluon 的 ImagePredictor 路线。AutoGluon 是 AWS 开源的自动机器学习框架，ImagePredictor 是它专门做图像分类的接口，它在背后做的事，拆开看是三块。
第一块是网络结构搜索。它不是从零开始训练一个随机初始化的网络，而是在预训练模型池里做选择，常见的候选包括 ResNet、EfficientNet、MobileNet 这类在 ImageNet 上训过的权重。水色图像和 ImageNet 里的自然图像有域差距，但底层边缘、纹理特征是可迁移的，这比随机初始化收敛快得多。第二块是超参自动搜索。学习率、优化器、权重衰减、batch size 这些参数，ImagePredictor 默认会做若干轮 trial 来搜索，不需要手工指定。第三块是自动早停和模型选择。训练过程中它会盯验证集指标，指标不再上升就停掉这个 trial，最后从多个 trial 里挑验证集最优的模型。
这套机制对应到毕设场景里，最大的价值是把「训练模型」从玄学变成了可复现的流程。你不必理解 ResNet 的残差连接为什么能缓解梯度消失，也能拿到一个能用的模型；但如果论文需要，设计报告里又能把搜索空间和选型逻辑讲清楚。对评审老师来说，「采用 AutoML 进行网络结构搜索与超参优化」比「手动调了几十组参数」听起来靠谱得多。
2.3 这份资源里的模型路径与训练量预估
从项目说明看，这份资源的默认配置是 ImagePredictor 配合预训练模型，问题类型走 multiclass 分类。训练量取决于机器，我按常见配置估一下，给你个参考范围：
| 项目 | 典型值 | 说明 |
|---|---|---|
| 数据集规模 | 约 300~600 张/类 | 五类水质，总量 1500~3000 张 |
| 输入图像尺寸 | 224×224 | ImagePredictor 默认 resize 到该尺寸 |
| 训练轮次（epoch） | 10~30 | 由 time_limit 和早停共同决定 |
| 单卡 GPU 训练时长 | 1~3 小时 | 显存 6G 以上的 GTX 1660 级别够用 |
| 纯 CPU 训练时长 | 8~15 小时 | 不建议，AutoML 搜索开销比单模型大 |
需要强调的是，AutoML 的搜索机制会跑多个 trial，每个 trial 是一次完整训练，所以总时长是单模型训练的 3~5 倍。如果你只有 CPU 机器，建议把 time_limit 调小，或者直接改用配置里的轻量模型路径，后面第 4 章我会给具体参数。
3. 把照片变成训练集：预处理脚本、数据增强参数与五类标签
3.1 剔除坏样本：一段能直接用的筛选脚本
数据整理是这种项目里最花时间但最没人愿意写进论文的环节。水色图像是从现场拍回来的，坏样本比想象中多：对焦失败的模糊图、水面反光的过曝图、带日期水印的图、还有拍到了岸边栏杆或人的图。这些图混进训练集，模型会学到「有水印的就是某类」「有栏杆的就是某类」，验证集里碰巧没有这类样本，精度看着不错，一上线就露馅。
我一般会先跑一遍完整性检查和模糊度筛查，代码如下：
import os from PIL import Image import numpy as np from pathlib import Path def check_blur(image_path, threshold=80.0): """用 Laplacian 方差判断模糊度，数值越低越模糊""" img = Image.open(image_path).convert('L') # 转灰度 arr = np.asarray(img, dtype=np.float32) # 拉普拉斯算子近似二阶导，方差小说明边缘少，大概率是模糊图 lap = ( -4 * arr[1:-1, 1:-1] + arr[:-2, 1:-1] + arr[2:, 1:-1] + arr[1:-1, :-2] + arr[1:-1, 2:] ) return lap.var() root = Path("water_dataset") bad_files = [] for img_path in root.rglob("*.jpg"): # 也支持 png，按需改后缀 try: with Image.open(img_path) as img: img.verify() # 文件完整性检查 blur_score = check_blur(img_path) if blur_score < threshold: bad_files.append((img_path, round(blur_score, 2))) except Exception as e: bad_files.append((img_path, f"无法打开: {e}")) for path, reason in bad_files: print(f"疑似坏样本: {path} -> {reason}") # 确认后手动移动到 backup 目录，不要直接删，后悔药还得留着这段代码做了两件事。第一件是img.verify()，它只校验文件头和数据完整性，不加载整张图，速度快，能筛掉下载中断导致的半截文件。第二件是 Laplacian 方差，这是判断模糊最常用的方法，原理是拉普拉斯算子对边缘敏感，清晰图像的边缘多、方差大，模糊图方差小。阈值 80 是个经验值，如果你的照片本身光线暗，需要调低到 50 左右，可以先跑一遍看方差分布再定。
提示：坏样本移动到一个
_backup目录而不是删除，后面如果发现筛多了还能捞回来。
3.2 数据增强参数：五类水质照片怎么配才不过分
水色图像有一个特点：同类水质在不同光照下颜色差异很大，同一片水面晴天和阴天拍出来能差出两个色温。所以增强策略要往颜色扰动上倾斜，但旋转和翻转不能太狠，因为水面照片有「上下」的语义。AutoGluon 的 ImagePredictor 内置了数据增强，但理解每项的意义还是有必要的，默认配置不一定适合你的数据分布。
| 增强项 | 推荐参数 | 理由 |
|---|---|---|
| 随机水平翻转 | 概率 0.5 | 左右对称，安全 |
| 随机垂直翻转 | 关闭 | 倒置的水面会造成语义错误 |
| 随机旋转 | 0~45 度 | 现场拍摄角度本身有偏差 |
| 亮度抖动 | ±20% | 模拟不同时段光照 |
| 对比度抖动 | ±20% | 阴天和晴天的对比度差异大 |
| 饱和度抖动 | ±30% | 水色本身是分类关键，但需控制幅度 |
| 随机裁剪缩放 | 0.8~1.0 | 模拟不同拍摄距离 |
| CutMix / MixUp | 启用 | 提升泛化，缓解过拟合 |
这里有个关键点：水色是分类的核心特征，饱和度抖动不能过大，我见过把增强强度拉满导致 I 类水被抖成 III 类颜色、模型直接学歪的情况。AutoGluon 里可以通过hyperparameters传入增强配置，也可以直接用默认值，默认值对大部分场景是安全的。如果你要自定义，建议只调饱和度、亮度这两个，其他保持默认。
3.3 五类标签的组织方式与划分陷阱
数据目录结构决定了后面对接 AutoGluon 是否顺畅。推荐按类别分目录，再用脚本生成 CSV 标注文件：
water_dataset/ ├── class_I_洁净/ # I 类 ├── class_II_较洁净/ # II 类 ├── class_III_轻度/ # III 类 ├── class_IV_中度/ # IV 类 ├── class_V_重度/ # V 类AutoGluon 的 ImagePredictor 接受 DataFrame 格式，列名包含图像路径和标签列。这里最容出问题的不是格式，而是数据划分。如果你把同一个地点、同一天拍的几十张照片随机打乱后按 8:2 切分，同样的水面背景会同时出现在训练和验证里，验证精度虚高。正确做法是按拍摄时间或地点分组划分，整组进训练或整组进验证。这个坑我会在第 5 章详细展开，这里先记住：划分必须避免数据泄漏。
4. 训练和评价：fit 参数、F1 与混淆矩阵的读法
4.1 训练入口：fit 参数怎么设
资源里的训练代码核心就是 ImagePredictor 的 fit。这里贴一段我根据项目说明整理的典型配置，注释里标了每个参数的意义：
import pandas as pd from autogluon.vision import ImagePredictor from sklearn.model_selection import train_test_split # 读取 CSV 标注文件，格式: image, label df = pd.read_csv("water_annotations.csv") train_df, val_df = train_test_split( df, test_size=0.2, stratify=df["label"], # 按类别比例分层采样 random_state=42, # 注意：这里只是临时划分，实际应按地点/时间分组 ) predictor = ImagePredictor() predictor.fit( train_data=train_df, label="label", # 标签列名 problem_type="multiclass", # 五类分类 hyperparameters={ "model": "resnet50", # 预训练模型，可换 efficientnet 等 "lr": 1e-4, # 迁移学习场景学习率不宜过大 "epochs": 20, # 上限轮次，早停会提前结束 "batch_size": 16, # 显存不够就降到 8 }, time_limit=7200, # 总训练时间上限，单位秒 holdout_frac=0.1, # 从训练集再切 10% 作为内部验证 )逻辑说明：study阶段确实会做超参搜索，但如果你在hyperparameters里手动指定了lr和model，这部分搜索空间会被缩小，训练更可控。迁移学习场景下1e-4是安全的起始学习率，比默认值更稳。holdout_frac是 AutoGluon 内部再从训练数据里切一部分做模型选择的验证集，外部传入的val_df则作为最终评估，两层验证防止选出来的模型在外部数据上翻车。
4.2 结果怎么读：accuracy 会骗人，F1 才是重点
训练结束后，项目说明里提到的评估指标包括准确率、宏平均 F1 和混淆矩阵。第一次跑完，模型打印的 validation accuracy 可能到 90% 以上，先别急着高兴。五类水质数据如果分布不均——比如 I 类占了 60%，那模型全预测 I 类就有 60% 准确率，看起来还行，实际一点用没有。
需要额外写一段评估代码，输出每类别的精确率、召回率和 F1：
from autogluon.metrics import make_scorer from sklearn.metrics import classification_report, confusion_matrix import numpy as np # 用验证集做预测 y_true = val_df["label"].tolist() y_pred = predictor.predict(val_df) # 分类报告，看每个类别的 precision / recall / f1 print(classification_report(y_true, y_pred)) # 混淆矩阵，行列对应 5 个类别 cm = confusion_matrix(y_true, y_pred) print("混淆矩阵:") print(cm)逻辑说明：classification_report会显示每个类别的精确率、召回率和 F1 值，如果某个类别的召回率明显低于其他类，说明这类样本常被误分。宏平均 F1 是各类别 F1 的算术平均，比准确率更能反映模型在类别不均衡下的真实水平。混淆矩阵则能直接看出误判方向，比如 II 类常被误判为 I 类，说明这两个类别的颜色特征过于接近，需要检查标注是否可靠或增强是否过度。
4.3 保存与加载：别把模型放内存里裸奔
训练完成后，模型保存和加载这部分看着简单，但我也见过有人直接把predictor对象 pickle 到文件，换环境后版本不一致加载失败。正确做法是用 ImagePredictor 自带的 save/load：
# 保存整个 predictor 目录 predictor.save("water_quality_model") # 在新环境加载 loaded = ImagePredictor.load("water_quality_model") # 单张图预测 result = loaded.predict({"image": "test_photo.jpg"}) print(result)需要注意，save保存的是一个完整目录，包含模型权重、配置和预处理参数，加载后不需要重新定义任何东西。加载时报错最常见的原因是 AutoGluon 版本不匹配，建议在项目说明里固定版本号，后面会讲。
5. 避坑与排查：训练不动、精度虚高、过拟合和数据泄漏
5.1 验证精度纹丝不动
- 现象：训练跑了好几个 epoch，train loss 在下降，但验证集精度始终卡在 50%~70% 之间不动，或是在小范围波动。
- 原因：AutoGluon 的 trial 搜索过程中，某个 trial 的学习率太大导致验证集指标震荡；另一种常见情况是数据量太少，模型在验证集上遇到没见过的拍摄角度或光照，泛化不动。
- 解决：第一优先级是确认类别是否均衡，做了
stratify还是没有改善的话，把hyperparameters里的lr强制设到5e-5跑一个 trial 看看；数据量少的条件下，epochs 上限设为 30 并依赖早停；最后检查数据划分有没有把同一水域的照片拆散，导致验证分布和训练分布差异过大。
5.2 类别不平衡导致的精度虚高
- 现象：accuracy 到了 95%，但看每个类别的 F1，III 类只有 0.3，甚至 V 类样本几乎没有出现在预测结果里。
- 原因：现场拍摄的样本里 I 类洁净水体最好拍，样本量大；V 类重度污染水体难找，样本极少。模型发现全预测 I 类就能拿高分，自然倾向多数类。
- 解决：在
fit里设置eval_metric="f1"，让模型直接按宏平均 F1 优化；对少数类做数据增强的倍率放大，比如每个 epoch 对 V 类多采样；最极端但有效的方式是按类别数量反比设置样本权重。建议把每个类别的样本量先打印出来，如果最少类不足 50 张，优先补数据，不要指望模型自动学会。
5.3 过拟合：训练 99，验证 80
- 现象：训练集精度冲到 99%，验证集只有 80% 左右，且验证损失在某个 epoch 后开始回升。
- 原因：水色图像数据集通常只有一两千张，模型容量足够记住全部训练样本；AutoGluon 内置增强能缓解，但对颜色敏感的任务增强幅度有限。
- 解决：增大
holdout_frac到 0.15，让模型内部验证信号更强；在hyperparameters里开启 mixup / cutmix；把 epochs 上限从 20 降到 12~15，依赖早停；还有一个容易忽略的点——检查是不是坏样本没筛干净，模型学到了水印或日期字符这类噪声特征。
5.4 数据泄漏：验证集精度很高但实际预测翻车
- 现象：训练和验证精度都超过 95%，部署后拿现场新照片一测，精度掉到 70% 以下，而且误判方向没有规律。
- 原因：这次最常见的翻车原因不是过拟合，而是数据划分泄漏。同一个水域、同一时间段拍的几十张照片，随机切分后大部分进了训练集、少部分进了验证集，模型其实记住了水面纹理和背景，验证精度自然高。
- 解决：划分必须按拍摄事件分组。改成按拍摄地点或拍摄时间批次对
group_cols分组，保证同一组照片整体进入训练或整体进入验证。这个操作在 AutoGluon 的fit里没有直接的group参数，需要你在做train_test_split前，先把同一地点的照片合成组再做切分。
# 按拍摄地点分组，每组整体划分，避免同地点照片跨集合 grouped = df.groupby("site_id", group_keys=False) train_groups, val_groups = train_test_split( df["site_id"].unique(), test_size=0.2, random_state=42 ) train_df = df[df["site_id"].isin(train_groups)] val_df = df[df["site_id"].isin(val_groups)]6. 把模型接进系统：真实照片预测与置信度门槛
训练好的模型要真正被用起来，得有一段稳定的推理代码。实战里我习惯加两个东西：置信度阈值和预测日志。置信度低于阈值的预测不直接输出等级，而是标记「存疑，需人工复核」——现场水质评价不是游戏，误判成本可能是一次错误的水质通报。
from autogluon.vision import ImagePredictor from PIL import Image model_path = "water_quality_model" predictor = ImagePredictor.load(model_path) # 读取现场照片 img_path = "field_sample.jpg" image = Image.open(img_path).convert("RGB") # 返回每个类别的概率 proba = predictor.predict_proba({"image": img_path}) top_prob = proba.max() # 最高类别概率 top_class = proba.idxmax() # 置信度门槛：低于 60% 不出结果 CONFIDENCE_THRESHOLD = 0.6 if top_prob >= CONFIDENCE_THRESHOLD: result = f"水质等级: {top_class}，置信度 {top_prob:.2%}" else: result = f"置信度不足 {top_prob:.2%}，建议人工复核" print(result)逻辑说明：predict_proba返回的是五类概率向量，取最大值和对应类别就能得到模型最自信的判断。阈值 0.6 是我试下来的经验值——当类别间颜色相似时，模型概率分布会明显扁平化，0.6 以下基本不可信。日志记录也建议同步落盘，存预测时间、图片路径、置信度和结果，事后抽样复核时这些数据非常救命。
从那以后我每次跑这种图像分类项目，都会强制走一遍「按拍摄事件分组划分 → 筛坏样本 → 看每类 F1 → 设置信度门槛」这条流水线，少一步都可能被验证集精度骗一次。这套资源和这套流程配合，能让你在三天内跑出一条可信的水质评价链路，希望帮到你。
本文还有配套的精品资源，点击获取
