简介：围绕李宏毅机器学习课程整理的全套学习资料，面向希望系统入门并进阶机器学习的学习者，覆盖监督学习、无监督学习、强化学习等核心主题，兼顾理论推导与代码实践，适合课前预习、课后复盘与作业练习场景。包内共234个文件，压缩包约70.21MB：教学PPT与PDF讲稿承载核心概念与公式讲解，49个Python脚本与3个ipynb笔记本对应课程实验与模型训练，25个CSV数据集可用于动手复现流程，另有Markdown笔记与示意图辅助理解，作业解答部分便于对照检验。目前已有2497人学习下载。目录按章节组织，可循着课程进度逐层推进；从数据预处理、特征选择到模型训练与误差分析，读者能获得从听懂到跑通完整链路的参考材料，为后续人工智能方向深入打基础。
1. 一套中文机器学习课程资料，价值在讲义与作业而不在视频时长
硬盘里放着几十个 G 的课程录像，播放进度条却永远停在第三讲，这是很多人下载公开课资料后的真实状态。这套中文机器学习全套资料的结构不一样：课堂讲义 PDF、手写推导板书、课后作业说明与示例代码骨架，覆盖从回归、分类、CNN、RNN 到注意力与生成模型的主线。它要解决的具体问题是中文语境下把公式推导和可运行代码对应起来，而不只是听人讲得通俗。适合两类人：有 Python 基础但数学忘得差不多的转岗工程师，以及刷过英文课程却卡在推导细节的同学。下面按资料怎么拆、代码怎么跑、坑在哪推进。
2. 拆开三层结构：讲义、手写推导、作业骨架的对应关系
这套资料最容易出现的误用方式，是把它当成一套视频课来收藏，从头到尾线性播放。实际使用时，应先弄清四类文件各自负责什么，再按模型复杂度排一条自己的主线，最后把环境一次性配好。三层结构搭配好了，后面每一章的学习都有明确的“验收动作”，而不是看完就忘。
2.1 四类文件各自解决什么问题
刚解压完目录时容易懵：一堆 PDF、一堆 notebook、还有几个压缩包。我一般先按“密度”给它们分档，密度高的当索引，密度低的当练习场。下面这张表是我自己拆包后的归类方式，不同年份的资料文件名会变，但结构基本一致：
| 文件类型 | 信息密度 | 什么时候看 | 常见误用 |
|---|---|---|---|
| 课堂讲义 PDF | 高，一页可能压着一整个模型的公式 | 上新课前扫一遍，先知道这节要推什么 | 当成教材逐字读，卡在符号定义上出不来 |
| 手写推导板书 | 中，补齐讲义省略的中间步骤 | 讲义某一步跳过去了，立刻对照看 | 只看不写，看完仍然推不出来 |
| 作业说明与评分口径 | 低，但定义了评价指标 | 动手写代码前先读完 | 跳过说明直接跑 sample code |
| 示例代码骨架 | 低，通常只有一个勉强跑通的 baseline | 第一天就把它跑通，跑不通先修环境 | 直接在骨架上改模型结构 |
讲义 PDF 的特点是“结论密度极高”。一页里可能同时出现损失函数、梯度表达式和一个假设条件，中间三行代数变换被省掉了，这正是板书存在的理由：它不负责排版美观，只负责把跳过的步骤补回来。作业说明则常被忽略，但它决定了你最后提交的是什么指标；如果评分看的是 macro-F1 而你一直在盯 accuracy，后面所有调参都会指错方向。
示例代码骨架的定位要再强调一次：它是环境自检工具，本身没有性能。我见过不少人一上来就往骨架里塞 Transformer，结果训练三轮不收敛，回头才发现数据加载的 label 映射是反的。先让骨架原封不动跑出它文档里写的那个数字，再谈改。
2.2 按模型复杂度排六周主线，而不是按视频顺序
课程视频的顺序是按学期排的，跟着走会被学期节奏拖住。比较实用的做法是按“模型复杂度”重排，每一周都配一个可以当场验收的动作，验收不过就不往下走。资料里通常包含作业一到作业若干，正好可以充当检查点：
| 周次 | 主题 | 主要看哪份资料 | 验收标准（做不到就别往下走） |
|---|---|---|---|
| 第 1 周 | 回归与梯度下降 | 线性回归讲义 + 对应板书 | 能手推损失对参数的偏导，并写出 30 行 numpy 版本 |
| 第 2 周 | 分类与正则化 | logistic / softmax 讲义、偏差方差那节 | 能解释验证集上 loss 与 acc 曲线为什么背离 |
| 第 3 周 | 训练技巧 | 反向传播、初始化、BN、dropout | 能说清 BN 在 train 与 eval 两个模式下的差别 |
| 第 4 周 | 卷积网络 | 卷积、池化、感受野 | 能手算任意一层卷积的输出尺寸与参数量 |
| 第 5 周 | 序列与注意力 | RNN、LSTM、注意力机制 | 能手写缩放点积注意力并核对 shape |
| 第 6 周 | 生成模型 | VAE、GAN、扩散的概念页 | 能逐项说出损失函数里每一项在约束什么 |
这张表的用法是：每周只挑一份讲义精读，其余当参考。第 1 周如果连“为什么学习率大会震荡”都讲不清，第 3 周的优化器对比就纯属背结论。反过来，如果第 4 周手算卷积尺寸已经很熟，可以直接跳到第 5 周，把时间留给注意力那几页推导——那几页是全套资料里信息密度最高的部分之一。
2.3 环境：一个能跑完全部 demo 的最小依赖
资料里的 notebook 大多写于不同年份，直接pip install最新版大概率会撞上 API 变更。我的习惯是建一个独立环境，把版本钉死，先保证“能跑”，再谈“跑得好”。CPU 版本足够应付所有教学 demo，不必一上来就折腾显卡驱动：
# 建一个只给这套资料用的环境，避免污染主环境 conda create -n ml-course python=3.10 -y conda activate ml-course # 教学 demo 的主力依赖，版本按资料里 notebook 的写法挑 pip install "numpy==1.26.4" "pandas==2.2.2" "matplotlib==3.8.4" pip install "scikit-learn==1.4.2" "jupyterlab==4.1.5" pip install "torch==2.2.2" "torchvision==0.17.2" # 装 CPU 版即可 # 把环境注册成 jupyter kernel，避免 notebook 用错解释器 python -m ipykernel install --user --name ml-course --display-name "ml-course"这段命令的逻辑是“先隔离、再钉版本、最后绑定内核”。conda create单独建环境，是为了防止后面某个包升级把主环境里的项目搞崩；numpy和pandas钉在中版本而不是最新版，因为资料里 notebook 用的还是np.float_这类旧写法，新版本已经移除。torch装 CPU 版就够，教学 demo 的模型规模撑死几万参数，用显卡属于浪费。最后一步ipykernel install经常被漏掉，漏掉的典型症状是：命令行里import torch正常，notebook 里却报ModuleNotFoundError——因为 Jupyter 用的是另一个解释器。
提示：如果 notebook 打开后 kernel 列表里没有
ml-course，先执行jupyter kernelspec list看注册是否成功，再重启 JupyterLab 进程。
环境跑通之后，建议立刻做一次“冒烟测试”：随便打开一个示例 notebook，从第一格执行到最后一格，中途不许跳过。这一步能提前暴露 80% 的环境问题，比学到第三周再发现依赖缺失划算得多。
3. 把讲义公式落成代码：三个最小可跑片段打通推导与实现
讲义上的公式看懂和写出来之间隔着一层东西，这层东西只能靠手敲代码来补。下面三个片段对应资料主线里最关键的三个节点：梯度下降、softmax 分类、注意力。每个片段都不长，但都刻意保留了“容易写错的那一行”，跑完之后再回去看讲义，会有明显的对照感。
3.1 线性回归：闭式解和小批量梯度下降差在哪
线性回归是整套资料的第一页，也是最容易被跳过的部分。很多人直接调sklearn.linear_model.LinearRegression出个结果就往下走，结果学到后面反向传播时完全没有“梯度”的实感。建议先手写一遍小批量版本，把梯度表达式和自己推的对一遍：
import numpy as np rng = np.random.default_rng(42) X = rng.normal(size=(512, 8)) # 512 个样本，8 个特征 true_w = rng.normal(size=8) y = X @ true_w + 0.1 * rng.normal(size=512) # 故意加噪声，别让 loss 掉到 0 造成“完美收敛”的错觉 w = np.zeros(8) b = 0.0 lr, bs, epochs = 0.05, 64, 200 for ep in range(epochs): idx = rng.permutation(len(X)) # 每个 epoch 重新打乱，避免固定顺序带来周期性震荡 for i in range(0, len(X), bs): batch = idx[i:i + bs] xb, yb = X[batch], y[batch] err = xb @ w + b - yb grad_w = 2 * xb.T @ err / len(batch) # 均方误差对 w 的梯度，2 来自平方项求导 grad_b = 2 * err.mean() w -= lr * grad_w b -= lr * grad_b print("参数误差:", np.linalg.norm(w - true_w), "截距:", round(b, 4))这段代码的逻辑是标准的“前向算误差、反向算梯度、原地更新”。关键在grad_w那一行：xb.T @ err把所有样本的“特征 × 残差”累加成一个 8 维向量，再除以批大小取均值，得到的正是均方误差对w的梯度。很多人第一次写会漏掉除以len(batch)，结果学习率必须调到极小才不炸，然后误以为“梯度下降很难调”。
参数上有三个旋钮值得手动改一遍看现象：lr从 0.05 调到 0.5，loss 曲线会从平滑下降变成来回横跳；bs从 64 调到 512，梯度噪声变小、收敛更稳但每轮更慢；epochs加到 2000 而 loss 不再下降，说明模型容量到此为止，再训也没用。这三个现象在讲义里都是文字描述，自己调一遍才知道“震荡”长什么样。
跑完之后，再和闭式解np.linalg.lstsq(X, y, rcond=None)[0]对比一下。两者结果应该非常接近，差距只来自噪声和迭代轮数。这个对照很有价值：它告诉你梯度下降不是“近似版闭式解”，而是在数据量大到无法求逆时的替代路径。
3.2 softmax 回归：为什么不建议自己写 softmax 再取 log
分类那几页讲义会给出交叉熵的公式，形式上很干净。但一落到代码，最常见的翻车写法是先softmax再log，然后在概率接近 0 时得到-inf。正确做法是让框架在 logits 上直接算交叉熵：
import torch import torch.nn.functional as F torch.manual_seed(0) N, D, C = 2000, 20, 5 X = torch.randn(N, D) W_true = torch.randn(D, C) y = (X @ W_true).argmax(dim=1) # 用 argmax 造标签，保证数据近似线性可分 model = torch.nn.Linear(D, C) # 只留一层线性，专注验证损失函数本身 opt = torch.optim.SGD(model.parameters(), lr=0.1) for step in range(500): logits = model(X) # 注意：这里输出的是 logits，不是概率 loss = F.cross_entropy(logits, y) # 内部走 log_softmax + NLL，数值上更稳 opt.zero_grad() loss.backward() opt.step() acc = (model(X).argmax(dim=1) == y).float().mean() print("loss:", round(loss.item(), 4), "acc:", round(acc.item(), 4))逻辑说明：F.cross_entropy接收的是未归一化的 logits，内部用 log-sum-exp 技巧计算，等价于先做 softmax 再取负对数，但避免了指数溢出。这是讲义里一句话带过、实际写代码却天天遇到的细节。
参数上，lr=0.1对纯线性模型是合适的，换成一个三层 MLP 就得降到 1e-3 量级；500步是个保守值，看 loss 曲线趋平就可以停。想验证数值稳定性，可以手动把某个 logit 加到 100 再跑一次：用cross_entropy不会出问题，自己写torch.log(torch.softmax(...))就会拿到-inf或者 nan。这个对比实验建议真做一遍，比看十遍公式管用。
另外提醒一句：造标签时用argmax而不是随机生成，是为了让准确率能爬到接近 1。如果标签是随机的，模型最多学到 20%，你会误以为代码写错了，其实是数据本身没信号。
3.3 缩放点积注意力：十行代码验证那个 √d_k
注意力那几页是整套资料里推导最密的部分，尤其是缩放因子为什么是√d_k。光看公式容易觉得“乘个常数而已”，写一遍再改一改就明白了：
import math import torch def scaled_dot_product_attention(Q, K, V, mask=None): d_k = Q.size(-1) scores = Q @ K.transpose(-2, -1) / math.sqrt(d_k) # 缩放项不是装饰，d_k 大时点积方差会爆 if mask is not None: scores = scores.masked_fill(mask == 0, float("-inf")) # 用 -inf 而非 0，softmax 后正好是零权重 attn = torch.softmax(scores, dim=-1) return attn @ V, attn torch.manual_seed(1) Q = torch.randn(2, 4, 8) # batch=2, 序列长度=4, d_k=8 K = torch.randn(2, 4, 8) V = torch.randn(2, 4, 8) out, attn = scaled_dot_product_attention(Q, K, V) print("输出 shape:", out.shape) # 期望 (2, 4, 8) print("权重行和:", attn.sum(-1)) # 每一行应接近 1逻辑说明：Q @ K.transpose(-2, -1)得到的是(batch, seq_q, seq_k)的相似度矩阵，transpose里的两个负索引是为了兼容任意前导维度，避免写死 batch 维。除以sqrt(d_k)之后过 softmax，最后与V相乘完成加权求和。
参数验证建议做两组。第一组把d_k从 8 改到 512，注释掉缩放那一行，观察attn的分布：它会退化成接近 one-hot 的尖锐分布，梯度几乎消失，这就是“不缩放会训不动”的具体表现。第二组加上 mask，把mask设成上三角为 0 的下三角矩阵，检查attn的上三角是否恰好为 0——如果写成masked_fill(mask == 0, 0)，softmax 会把 0 当成一个合法得分，上三角就会漏权重，这是实现 causal mask 时最常见的 bug。
三组代码跑完，讲义的三个核心节点就从“看懂”变成了“写得出”。此时再回看板书里的推导，会发现那些当时觉得多余的中间步骤，恰好对应代码里最容易漏的那几行。
4. 作业本的打开方式：从 baseline 到调参的固定顺序
资料里的作业通常带评分口径和一份很朴素的 baseline，很多人上来就改模型结构，改完发现分数还不如 baseline。问题不在模型，在顺序。下面这套顺序是我踩过几次坑之后固定下来的：先出分、再切数据、最后才调参。每一步都有对应的检查动作，跳步的代价会在后面成倍放大。
4.1 第一天只做一件事：让 baseline 原封不动出分
打开作业目录，先别改任何一行代码。按说明里的命令跑一遍，确认输出格式、文件路径、评价指标都对得上。这一步的验收标准很明确：你能拿到一个和说明里写着的分数处于同一量级的数字。
跑 baseline 时最容易忽略的是“提交格式”。作业往往要求输出特定格式的文件，比如每行一个预测标签或者指定编码的 csv。模型分数再高，格式不对就是零分。我一般会先写一个最笨的校验脚本，把输出读回来，检查行数、标签取值范围、是否有多余表头：
import pandas as pd sub = pd.read_csv("output/pred.csv") assert len(sub) == 10000, f"行数不对: {len(sub)}" # 和测试集规模对齐 assert set(sub["label"].unique()) <= set(range(10)), "标签越界" assert sub["label"].notna().all(), "存在空值" print("格式检查通过，标签分布:", sub["label"].value_counts().to_dict())这段逻辑很短，但把三类事故挡在门外：行数少了几百行（通常是 dropna 惹的祸）、标签超出类别范围（类别映射表写错）、存在空值（模型对某些样本输出 nan）。花五分钟写它，能省掉后面反复上传、反复被判格式错误的来回。
拿到 baseline 分数之后，把它记在一个固定的表格里，作为后续所有实验的参照线。没有参照线的调参就是碰运气。
4.2 切分数据的顺序，决定后面所有结论可不可信
第二件事是切数据，而不是调模型。很多作业只给了训练集和测试集，验证集要自己切。这里的顺序很重要：先切分、再做任何全局统计（均值方差归一化、词表构建、类别权重计算），否则验证集的信息会通过统计量渗进训练过程，分数虚高，线上崩盘。
from sklearn.model_selection import train_test_split # 先分层切出验证集，random_state 固定，保证每次实验可比 X_tr, X_val, y_tr, y_val = train_test_split( X, y, test_size=0.15, stratify=y, random_state=42 ) # 归一化统计量只能来自训练集 mu, sigma = X_tr.mean(axis=0), X_tr.std(axis=0) + 1e-8 X_tr = (X_tr - mu) / sigma X_val = (X_val - mu) / sigma # 验证集用训练集的统计量，不能自己重算逻辑说明：stratify=y保证类别比例一致，避免小类别在验证集里只剩几个样本导致指标抖动；random_state固定，是为了让“改动前后”的对比有意义——如果每次切分都变，你永远不知道涨点是来自模型还是来自数据。归一化的两行是重点：mu和sigma只从X_tr算，验证集直接套用，这是一条必须守住的纪律。
检查动作也很具体：切完之后打印两个集合的标签分布，差异超过几个百分点就说明切分有问题；再打印归一化后的均值方差，训练集应该接近 0 和 1，验证集允许有小偏差但不该差太远。
4.3 调参顺序表：先学习率、再正则、最后才动结构
到了真正调参的环节，顺序错了会浪费大量时间。我的一般做法是：固定模型结构，先把学习率扫到一个能稳定收敛的值，再处理过拟合，最后才考虑加容量。理由很直白——学习率不对的时候，任何正则化手段的效果都无法判断。
| 顺序 | 调什么 | 观察什么 | 判断标准 | 常见错误 |
|---|---|---|---|---|
| 第 1 步 | 学习率 | 前 20 步的 loss | 单调下降且不爆 | 直接上 1e-2 训 Transformer |
| 第 2 步 | 批大小 | loss 曲线的抖动幅度 | 抖动可接受、显存够用 | 批太小却怪模型不收敛 |
| 第 3 步 | 正则化强度 | 训练集与验证集的 gap | gap 收窄且验证集不降 | 一上来就把 dropout 拉到 0.5 |
| 第 4 步 | 模型容量 | 训练 loss 的下限 | 训练 loss 明显下降 | 训练 loss 都降不下去还加正则 |
| 第 5 步 | 集成与后处理 | 验证集最终指标 | 稳定复现 | 用测试集反复挑模型 |
这张表的核心是“别跳步”。第 4 步尤其容易被误解：如果训练 loss 都降不到一个较低水平，说明模型根本没拟合上，此时加 dropout、加权重衰减只会让情况更糟。判断“欠拟合还是过拟合”只需要看两条曲线的 gap，这个动作在两分钟之内就能完成，但它决定了后面几小时往哪个方向走。
作业里的 leaderboard 分数可以看，但别拿它当调参信号。用测试集反复挑模型，本质上是在测试集上过拟合，这个习惯一旦养成，后面做真实项目时会非常危险。验证集上稳定复现的提升，才算提升。
5. 避坑与排查：跟这套资料学习最容易翻车的五个地方
这一节记录的是我自己和身边人真实踩过的坑，现象都很有迷惑性，原因往往和直觉相反。按“现象 → 原因 → 解决”整理，遇到问题时可以直接对照。
现象一：notebook 里import torch报找不到模块，但终端里明明能导入。原因是 Jupyter 内核和你激活的 conda 环境不是同一个。解法是先python -m ipykernel install --user --name ml-course注册内核，再在 notebook 右上角手动切换到ml-course；切完仍然不行，就执行import sys; print(sys.executable)看实际路径。这个问题在同时装了系统 Python 和 conda 的机器上几乎必现。
现象二：讲义上的公式自己能推，但一写代码 shape 就对不上。原因通常是混淆了“样本维”和“特征维”的位置。数学写法里矩阵乘法常常省略维度顺序，代码里却必须明确。解法是养成习惯：每个张量创建后立刻打印 shape，并在旁边写一行注释说明每一维代表什么。注意力那部分尤其明显，(batch, seq, d_k)和(seq, batch, d_k)只差一个transpose，但报错信息完全不指向那里。
现象三：模型训练 loss 一路下降，验证集准确率却在第 3 轮之后开始掉。这是典型的过拟合，但很多人第一反应是“模型不够大”。真实原因往往是训练集太小或者正则太弱。解法按顺序试：先看训练集规模是否支撑当前参数量，再加权重衰减或 dropout，最后才考虑数据增强。反过来做（先加容量）会让 gap 更大。
现象四：按照板书改了损失函数，loss 变成 nan。原因多半是除零或者对零取对数。交叉熵里如果某一类概率恰好是 0，log(0)直接炸。解法是不要在概率上取对数，把 logits 喂给框架的cross_entropy或者log_softmax；自己实现时在 log 里加一个1e-8，同时检查分母有没有可能为 0。这个坑在实现 Focal Loss、KL 散度时同样会碰到。
现象五：作业提交上去分数极低，但本地验证集指标很好。原因一般有两个：类别映射顺序和官方不一致，或者用了全局统计量做归一化导致信息泄漏。解法是回到 4.1 节那个校验脚本，逐项核对行数、标签范围、空值，再检查归一化统计量是不是只用训练集算的。这类问题不看代码只看分数是查不出来的，必须把输出读回来验。
6. 进阶用法：把讲义当自测题库，手推一遍再代码验一遍
学到后面会发现一个问题：讲义看第二遍时觉得“都懂”，合上又讲不出来。这是输入型学习的通病。我的解法是把讲义当成题库用，每页提炼一个可验证的问题，先手推，再用十行代码验证。下面这张表是我自己整理的自测清单，覆盖资料里最关键的几页：
| 讲义主题 | 自测问题 | 代码验证方式 |
|---|---|---|
| 梯度下降 | 学习率翻倍后，loss 曲线为什么可能震荡 | 改lr跑三组，画出 loss 曲线对比 |
| 偏差方差 | 训练误差低、验证误差高，属于哪一边 | 固定数据，只改模型复杂度，画两条误差曲线 |
| 批归一化 | 训练和推理时 BN 的行为差在哪 | 手动切model.eval()前后，对比同一批输入的输出 |
| 卷积尺寸 | 输入 32×32、卷积核 3×3、步长 2、padding 1，输出多大 | 用nn.Conv2d跑一遍，和手算结果对照 |
| 注意力 | 为什么除以√d_k而不是d_k | 去掉缩放项，观察 softmax 输出的熵 |
这张表的用法是“先遮住答案”。手推的时候允许卡住，卡住之后再翻板书，记忆强度完全不一样。代码验证环节不需要写得多漂亮，十几行、跑通、打印出关键中间量就够。我习惯把每次自测的结论写在一页纸上，隔一周再拿出来重推一遍，能推出来的才算真的会了。
再往上一个层次，可以试着把讲义里的模型做“减法复现”：只保留核心的那一项损失、去掉所有正则和技巧，看它在一个极小数据集上能不能收敛。比如把注意力简化成单头、把序列长度压到 4、把d_k压到 8，跑通之后再逐步加回多头、mask、位置编码。每加一项，都能清楚知道它解决了什么问题——这比一次性抄一个完整实现有价值得多。血泪经验是：抄来的代码能跑，但你不知道哪一行在起作用，出问题就只能瞎改。
最后一个技巧关于复习节奏。这套资料的讲义页数不少，通读一遍成本很高，比较划算的做法是只反复看两类页面：一类是带完整推导的（通常是每个模型的第一次出现），一类是带对比表格的（比如几种优化器的差异）。前者训练推导能力，后者在面试和方案选型时直接用得上。中间那些纯结论页，扫一眼留个印象就行。
从那以后我每次拿到一套新课程资料，都会先挑三页手推、再用三十行代码验一遍，验不过就不往下看。慢是慢了点，但省掉了“看完一遍什么都没留下”的后悔药。希望帮到你。
本文还有配套的精品资源，点击获取
