简介：这份资源是机器学习期末大作业的六次项目合集，面向高校学生、课程设计者及需要快速完成高分作业的自学者，覆盖从基础算法到综合实验的完整训练链路。包内包含基于KNN的手写数字识别、回归模型、参数估计与非参数估计、朴素贝叶斯分类器、层次聚类、决策树分类器六个独立项目，每个项目均配有源码与实验报告，代码附有注释，新手也能读懂并直接部署运行。压缩包共340个文件，以109个py源码、107个png结果图、22个csv数据集、13个pdf报告及若干ipynb、r、md文档为主，整体约63.56MB，目录按项目分模块组织，便于检索与复用。已有84人学习下载。读者可获得六套可直接运行的算法实现、配套实验报告与数据文件，既能作为课程设计模板，也适合对照复现、理解参数估计与聚类分类等核心知识点，节省从零搭建的时间成本。
1. 六份机器学习大作业拆包：从 KNN 到决策树，一套能跑通的课程设计底稿
期末周前两周，实验室里最常见的一幕是：选题定了，环境装好了，打开编辑器却不知道第一个函数该写什么。这份「机器学习期末大作业-六次大作业合集」正好卡在这个痛点上——它不是单个 demo，而是把课程设计里最高频的六个方向打包在一起：KNN 手写数字识别、回归模型、参数估计与非参数估计、朴素贝叶斯分类器、层次聚类、决策树分类器。每个方向都配了源码和实验报告，代码里带注释，数据文件也一并给了，像semeion_train.csv、semeion_test.csv、test_truedata.csv这些命名一看就知道是训练/测试/真值三件套。适合谁？正在赶机器学习期末大作业、课程设计，或者想拿一套完整流程对照着自己实现一遍的人。新手能顺着注释读懂每一步，熟手能直接拿它当 baseline 改参数、换数据、做对比实验。
2. 环境与数据先对齐：六份作业共用的目录结构和依赖清单
2.1 拆包后先看什么：目录映射与数据文件对应关系
拿到压缩包别急着pip install，先把目录结构看清楚。六份作业虽然算法不同，但组织方式高度一致：每份一个文件夹，里面通常有code/（或直接是.py文件）、report/（实验报告文档）、data/（或数据文件散在根目录）。从项目正文给出的文件名能反推出数据流：data.csv出现多次，说明多份作业共用同一份原始数据或各自有一份同名数据；result.csv是输出结果；semeion_train.csv和semeion_test.csv是手写数字识别的标准 Semeion 数据集划分；test_truedata.csv大概率是测试集的真实标签，用来算准确率。
我一般会先跑一条命令把结构打出来：
# 查看压缩包内文件列表，不急着解压 unzip -l "机器学习期末大作业-六次大作业合集代码+实验报告（满分项目）.zip" # 解压后进入目录，看两层结构 find . -maxdepth 2 -type d | sort find . -maxdepth 2 -name "*.csv" | sort逻辑说明：unzip -l先确认压缩包没损坏、文件数量对得上；find两层足够看清每份作业的文件夹和公共数据文件位置。参数上，-maxdepth 2是防止目录太深刷屏，-name "*.csv"专门定位数据文件。如果发现某个作业文件夹里没有数据文件，大概率是共用根目录下的data.csv，这时候要在代码里把相对路径改成../data.csv或绝对路径。
2.2 依赖安装：别一把梭，按作业分环境
六份作业的技术栈以 Python 为主，常见依赖是numpy、pandas、scikit-learn、matplotlib，手写数字识别可能用到PIL或opencv-python读图。我建议不要全局装，用 venv 隔离：
# 创建虚拟环境 python -m venv ml_hw_env source ml_hw_env/bin/activate # Windows 用 ml_hw_env\Scripts\activate # 基础四件套 pip install numpy pandas scikit-learn matplotlib # 如果 KNN 作业要读图片，补一个 pip install pillow逻辑说明：venv隔离是为了避免和系统里已有的包版本打架，尤其是scikit-learn不同版本对KMeans、DecisionTreeClassifier的默认参数有差异。参数上，numpy和pandas负责数据读写，scikit-learn提供 KNN、朴素贝叶斯、决策树、层次聚类的实现，matplotlib画图。如果某份作业的代码里import了seaborn或scipy，再单独补装，不要提前堆一堆用不上的包。
提示：先跑一份作业的代码，报
ModuleNotFoundError再装对应包，比一次性装几十个包更省时间，也更容易定位版本冲突。
3. KNN 手写数字识别与回归模型：两个最容易被低估的 baseline
3.1 KNN 手写数字识别：距离度量与 k 值怎么定
KNN 这份作业的核心不是「会调KNeighborsClassifier」，而是理解为什么手写数字识别适合用 KNN 做 baseline。Semeion 数据集里每个样本是 16x16 的灰度图展平成 256 维向量，KNN 直接算向量间的欧氏距离，不需要训练过程，天然适合小规模数据。但坑也在这里：256 维空间里距离会变得稀疏，k 值取太小对噪声敏感，取太大又把不同类混在一起。
我一般会先写一个 k 值扫描脚本，而不是拍脑袋定 k=3：
import pandas as pd from sklearn.neighbors import KNeighborsClassifier from sklearn.metrics import accuracy_score # 读取 Semeion 训练集和测试集 train = pd.read_csv('semeion_train.csv', header=None) test = pd.read_csv('semeion_test.csv', header=None) # 最后一列是标签，前面是 256 维特征 X_train, y_train = train.iloc[:, :-1].values, train.iloc[:, -1].values X_test, y_test = test.iloc[:, :-1].values, test.iloc[:, -1].values # 扫描 k 从 1 到 15 for k in range(1, 16): clf = KNeighborsClassifier(n_neighbors=k, metric='euclidean') clf.fit(X_train, y_train) acc = accuracy_score(y_test, clf.predict(X_test)) print(f"k={k:2d} accuracy={acc:.4f}")逻辑说明：iloc[:, :-1]取所有行、除最后一列外的特征，iloc[:, -1]取标签列。metric='euclidean'是默认值，但显式写出来方便后面换成manhattan做对比。参数上，n_neighbors就是 k，扫描范围 1 到 15 是经验值，手写数字这种类别数不多（通常 10 类）的任务，k 超过 15 意义不大。跑完看准确率曲线，选拐点附近的 k，而不是选最高点——最高点可能是过拟合到测试集了。
实验报告里通常会要求画混淆矩阵，用sklearn.metrics.confusion_matrix加matplotlib的imshow就能出图。注意test_truedata.csv如果和semeion_test.csv的标签列重复，以代码里实际读取的为准，别两份都读进来导致维度对不上。
3.2 回归模型：特征标准化和残差检查不能省
回归这份作业的数据大概率是data.csv，输出result.csv。回归最容易翻车的地方不是模型选错，而是特征没标准化就直接扔进线性回归，导致系数解释不了、梯度下降震荡。我一般会先做描述性统计：
import pandas as pd import numpy as np from sklearn.linear_model import LinearRegression from sklearn.preprocessing import StandardScaler from sklearn.model_selection import train_test_split from sklearn.metrics import mean_squared_error, r2_score df = pd.read_csv('data.csv') # 假设最后一列是目标变量，前面是特征 X = df.iloc[:, :-1].values y = df.iloc[:, -1].values # 划分训练测试集，random_state 固定保证可复现 X_train, X_test, y_train, y_test = train_test_split( X, y, test_size=0.2, random_state=42 ) # 标准化：fit 只在训练集上做，避免数据泄露 scaler = StandardScaler() X_train_scaled = scaler.fit_transform(X_train) X_test_scaled = scaler.transform(X_test) model = LinearRegression() model.fit(X_train_scaled, y_train) y_pred = model.predict(X_test_scaled) print("MSE:", mean_squared_error(y_test, y_pred)) print("R2 :", r2_score(y_test, y_pred))逻辑说明：train_test_split的random_state=42是为了每次跑结果一致，实验报告里写「随机划分」但结果对不上就很尴尬。StandardScaler的fit_transform只用在训练集，测试集用transform，这是防数据泄露的标准做法。参数上，test_size=0.2是常见划分比例，数据量小可以调到 0.3。跑完别只看 R2，把残差画出来看看有没有喇叭口形状，有的话说明异方差，得考虑对数变换或换模型。
注意：如果
data.csv里有缺失值，LinearRegression会直接报错。先df.isnull().sum()看一眼，用fillna或dropna处理掉再进模型。
4. 参数估计、朴素贝叶斯与层次聚类：三份作业的数学底子怎么落到代码
4.1 参数估计与非参数估计：从直方图到核密度
这份作业偏统计，代码量不大但实验报告要求高。参数估计通常是假设数据服从正态分布，用样本均值和方差去估计总体参数；非参数估计则是核密度估计（KDE）或直方图法，不预设分布形式。我一般会先画直方图叠加正态曲线，直观对比：
import pandas as pd import numpy as np import matplotlib.pyplot as plt from scipy import stats df = pd.read_csv('data.csv') # 假设对第一列做估计 sample = df.iloc[:, 0].dropna().values # 参数估计：矩估计 mu_hat = np.mean(sample) sigma_hat = np.std(sample, ddof=1) # ddof=1 是无偏估计 print(f"矩估计: mu={mu_hat:.4f}, sigma={sigma_hat:.4f}") # 非参数估计：核密度 kde = stats.gaussian_kde(sample) x_grid = np.linspace(sample.min(), sample.max(), 200) plt.hist(sample, bins=30, density=True, alpha=0.5, label='Histogram') plt.plot(x_grid, stats.norm.pdf(x_grid, mu_hat, sigma_hat), label='Normal fit') plt.plot(x_grid, kde(x_grid), label='KDE') plt.legend() plt.savefig('estimation_compare.png', dpi=150)逻辑说明：ddof=1是样本标准差的无偏估计，np.std默认ddof=0是有偏的，实验报告里如果写「无偏估计」但代码用默认值，答辩时容易被追问。gaussian_kde的带宽参数bw_method默认是 Scott 规则，数据分布偏斜时可以手动调小。参数上，bins=30是直方图箱数，数据量过千可以适当增加。这份作业的result.csv大概率是估计出来的参数值或密度值，保存时注意列名和报告里的表格对应。
4.2 朴素贝叶斯分类器：拉普拉斯平滑与先验概率
朴素贝叶斯的核心假设是特征条件独立，代码实现简单，但实验报告要解释清楚为什么这个假设在文本或离散特征上还能 work。sklearn的GaussianNB、MultinomialNB、BernoulliNB对应不同数据分布，选错类型准确率会差很多。我一般先判断特征类型：连续值用GaussianNB，计数特征用MultinomialNB，二值特征用BernoulliNB。
import pandas as pd from sklearn.naive_bayes import GaussianNB from sklearn.model_selection import cross_val_score df = pd.read_csv('data.csv') X = df.iloc[:, :-1].values y = df.iloc[:, -1].values # 高斯朴素贝叶斯，适合连续特征 gnb = GaussianNB() scores = cross_val_score(gnb, X, y, cv=5, scoring='accuracy') print("5折交叉验证准确率:", scores.mean()) # 如果特征是计数，换成 MultinomialNB # from sklearn.naive_bayes import MultinomialNB # mnb = MultinomialNB(alpha=1.0) # alpha 是拉普拉斯平滑逻辑说明：cross_val_score的cv=5是五折交叉验证，比单次划分更稳。GaussianNB没有平滑参数，MultinomialNB的alpha=1.0就是拉普拉斯平滑，防止某个特征在训练集里没出现导致概率为零。参数上，如果数据里有负值，MultinomialNB会报错，必须换GaussianNB或先做非负变换。实验报告里要写清楚先验概率是均匀先验还是根据类别频率计算，sklearn默认用类别频率作为先验。
4.3 层次聚类：距离矩阵与树状图剪枝
层次聚类这份作业的看点是树状图（dendrogram）和剪枝。scipy.cluster.hierarchy比sklearn的AgglomerativeClustering更适合画树状图。关键参数是linkage方法：single、complete、average、ward，不同方法对簇的形状敏感度不同。
import pandas as pd import numpy as np import matplotlib.pyplot as plt from scipy.cluster.hierarchy import linkage, dendrogram, fcluster from scipy.spatial.distance import pdist df = pd.read_csv('data.csv') X = df.values # 假设全是特征，没有标签列 # 计算距离矩阵并做层次聚类 Z = linkage(X, method='ward', metric='euclidean') # 画树状图 plt.figure(figsize=(10, 6)) dendrogram(Z, truncate_mode='lastp', p=20) plt.savefig('dendrogram.png', dpi=150) # 按距离阈值剪枝，得到簇标签 clusters = fcluster(Z, t=3, criterion='maxclust') print("簇标签分布:", np.bincount(clusters))逻辑说明：pdist在linkage内部调用，不用手动算。method='ward'最小化簇内方差，适合欧氏距离；如果数据有离群点，average更稳。truncate_mode='lastp'和p=20是让树状图只显示最后 20 个合并节点，否则样本一多图就糊了。fcluster的t=3是想要 3 个簇，criterion='maxclust'表示按最大簇数剪枝。参数上，t可以换成距离阈值，配合criterion='distance'使用。实验报告里要对比不同linkage方法的树状图差异，这是得分点。
5. 决策树分类器：剪枝、特征重要性与可视化
5.1 决策树为什么容易过拟合：预剪枝和后剪枝
决策树这份作业的代码可能是六份里最短的，但实验报告要解释清楚过拟合。不加限制的决策树会把每个样本都分到叶子节点，训练集准确率 100%，测试集惨不忍睹。sklearn的DecisionTreeClassifier提供max_depth、min_samples_split、min_samples_leaf、max_leaf_nodes等预剪枝参数，后剪枝用ccp_alpha做代价复杂度剪枝。
import pandas as pd from sklearn.tree import DecisionTreeClassifier, plot_tree from sklearn.model_selection import train_test_split from sklearn.metrics import accuracy_score import matplotlib.pyplot as plt df = pd.read_csv('data.csv') X = df.iloc[:, :-1].values y = df.iloc[:, -1].values X_train, X_test, y_train, y_test = train_test_split( X, y, test_size=0.2, random_state=42 ) # 不剪枝 tree_full = DecisionTreeClassifier(random_state=42) tree_full.fit(X_train, y_train) print("不剪枝 训练集:", accuracy_score(y_train, tree_full.predict(X_train))) print("不剪枝 测试集:", accuracy_score(y_test, tree_full.predict(X_test))) # 预剪枝：限制深度和叶子节点最小样本数 tree_pruned = DecisionTreeClassifier( max_depth=5, min_samples_leaf=5, random_state=42 ) tree_pruned.fit(X_train, y_train) print("预剪枝 训练集:", accuracy_score(y_train, tree_pruned.predict(X_train))) print("预剪枝 测试集:", accuracy_score(y_test, tree_pruned.predict(X_test))) # 可视化剪枝后的树 plt.figure(figsize=(15, 8)) plot_tree(tree_pruned, filled=True, feature_names=[f'f{i}' for i in range(X.shape[1])]) plt.savefig('tree_pruned.png', dpi=150)逻辑说明：random_state=42保证每次划分一致。max_depth=5和min_samples_leaf=5是经验起点，数据量大可以放宽。plot_tree的filled=True按类别纯度上色，feature_names如果原始数据有列名就直接用df.columns[:-1]。参数上，ccp_alpha后剪枝需要先用cost_complexity_pruning_path拿到 alpha 序列，再交叉验证选最优，代码稍长但实验报告里是加分项。
5.2 特征重要性：别只看数值，要看排序稳定性
feature_importances_属性给出每个特征的重要性，但单次划分的排序可能不稳定。我一般会跑多次不同random_state，看重要性排序是否一致：
import numpy as np from sklearn.tree import DecisionTreeClassifier importances = [] for seed in range(10): tree = DecisionTreeClassifier(max_depth=5, random_state=seed) tree.fit(X_train, y_train) importances.append(tree.feature_importances_) importances = np.array(importances) mean_imp = importances.mean(axis=0) std_imp = importances.std(axis=0) # 按均值排序输出 idx = np.argsort(mean_imp)[::-1] for i in idx[:10]: print(f"特征 {i}: {mean_imp[i]:.4f} ± {std_imp[i]:.4f}")逻辑说明：跑 10 个不同随机种子，mean_imp是平均重要性，std_imp是波动。如果某个特征均值高但标准差也大，说明它的重要性不稳定，实验报告里不能只写「特征 X 最重要」。参数上，range(10)可以加到 20 或 30，但数据量大时耗时线性增长。argsort加[::-1]是降序排列，取前 10 个输出。
6. 避坑与排查：六份作业跑不通时先查这五处
6.1 路径问题：相对路径和绝对路径混用
现象：代码在 PyCharm 里跑得通，命令行python xxx.py就报FileNotFoundError。原因：IDE 的工作目录默认是项目根目录，命令行是你当前所在目录，pd.read_csv('data.csv')找的是不同位置。解决：统一用os.path.dirname(__file__)拼绝对路径，或者cd到代码所在目录再跑。
import os import pandas as pd base = os.path.dirname(os.path.abspath(__file__)) df = pd.read_csv(os.path.join(base, 'data.csv'))6.2 编码问题：中文列名或 BOM 头导致读取出错
现象：pd.read_csv报UnicodeDecodeError，或者第一列列名前面多个\ufeff。原因：CSV 文件是 GBK 编码或带 BOM 的 UTF-8。解决：先试encoding='utf-8-sig'，不行再试encoding='gbk'。参数上，utf-8-sig专门处理 BOM 头，比utf-8多一步剥离。
6.3 标签列位置：最后一列不一定是标签
现象：模型准确率极低，或者回归 R2 是负数。原因：data.csv的标签列可能不在最后一列，或者中间有 ID 列。解决：先df.head()和df.columns看一眼，确认特征和标签的边界。如果列名有label、target、class之类的词，直接按列名取，别用iloc。
6.4 随机种子：不固定导致结果无法复现
现象：实验报告里写准确率 0.92，答辩时跑出来 0.88。原因：train_test_split或模型初始化没固定random_state。解决：所有涉及随机的步骤都加random_state=42，包括train_test_split、DecisionTreeClassifier、KMeans（层次聚类不涉及）。参数上，42 是习惯用法，用别的数字也行，关键是全篇统一。
6.5 版本差异：sklearn 旧版本参数名变了
现象：代码里写sklearn.cross_validation报ModuleNotFoundError。原因：旧版sklearn的模块在新版里改名了，cross_validation变成model_selection。解决：看报错信息里的模块名，对照sklearn官方迁移文档改。常见改动还有sklearn.preprocessing.Imputer变成SimpleImputer，sklearn.grid_search变成model_selection.GridSearchCV。
提示：如果六份作业里某一份的代码明显是旧版写的，别硬改，先
pip install scikit-learn==0.24之类的旧版本跑通，再决定要不要升级代码。
7. 把六份作业串成一条线：交叉验证与结果对比的进阶玩法
六份作业单独跑通只是及格线，真正让实验报告出彩的是把它们串起来对比。我一般会做一件事：用同一份data.csv（或同一批划分）跑 KNN、朴素贝叶斯、决策树三个分类器，用同一套交叉验证框架对比准确率和耗时。这样实验报告里就有一张横向对比表，而不是六份孤立的报告。
import pandas as pd import numpy as np from sklearn.model_selection import cross_val_score, StratifiedKFold from sklearn.neighbors import KNeighborsClassifier from sklearn.naive_bayes import GaussianNB from sklearn.tree import DecisionTreeClassifier import time df = pd.read_csv('data.csv') X = df.iloc[:, :-1].values y = df.iloc[:, -1].values # 统一用分层五折，保证每折类别比例一致 cv = StratifiedKFold(n_splits=5, shuffle=True, random_state=42) models = { 'KNN(k=5)': KNeighborsClassifier(n_neighbors=5), 'GaussianNB': GaussianNB(), 'DecisionTree(d=5)': DecisionTreeClassifier(max_depth=5, random_state=42), } for name, model in models.items(): t0 = time.time() scores = cross_val_score(model, X, y, cv=cv, scoring='accuracy') elapsed = time.time() - t0 print(f"{name:20s} acc={scores.mean():.4f} ± {scores.std():.4f} " f"time={elapsed:.2f}s")逻辑说明：StratifiedKFold比普通KFold更适合分类任务，因为它保证每折的类别比例和整体一致。shuffle=True打乱顺序，random_state=42固定。time.time()记录总耗时，注意这是五次拟合加预测的总时间，不是单次。参数上，n_splits=5是默认值，数据量小可以调到 10，但耗时翻倍。跑完这张表，实验报告的「模型对比」章节就有硬数据了。
还有一个技巧：把决策树的feature_importances_和 KNN 的错误样本重叠起来看。如果决策树认为不重要的特征，恰好是 KNN 分错的样本里取值异常的特征，说明这个特征可能有噪声，实验报告里可以写一段「特征质量分析」。这种交叉分析不需要额外代码，把两个结果print出来人工比对就行，但答辩时很能体现思考深度。
从那以后我每次拿到这种打包作业，都强制先跑一遍find看目录、再跑一遍head看数据、最后固定random_state跑通一份再动下一份。顺序反了，后面全是返工。希望帮到你。
本文还有配套的精品资源，点击获取
