简介：这份资料包围绕吴恩达机器学习课程整理，面向正在完成课后编程作业、希望系统复习并打印讲义的自学者与在校学生。它同时提供无答案与有答案两版作业，其中有答案部分又细分三版，便于先独立练习，再对照订正并检查不同实现思路。压缩包共1028个文件，约202.33MB，包含623个m脚本、146个txt说明、103个mat数据、61个ipynb笔记本、44个pdf讲义以及png、py等辅助文件，覆盖编程实现、实验数据、课堂讲义与中文个人笔记等类型。现有2537人学习，适合作为课程配套练习与阶段复习材料。读者可据此完成线性回归、逻辑回归、PCA、K-means等经典练习，结合可打印的题目合并版PDF和中文笔记梳理知识点，并通过多版本答案排查代码差异，目录按作业与讲义模块组织，检索与打印都较方便。
1. 知识地图：一份作业串起的机器学习主干
机器学习作业这条线，说到底就是把课上那几页公式变成能跑出数值的代码。这份资料按这个思路拆成两版：无答案版把关键函数掏空，只留函数签名和注释，逼你自己写；有答案版保留完整实现，供卡住时对照；旁边还附了一份个人笔记，把每讲的推导和踩坑点抄在对应位置。它适合两种人——正在系统学、需要把手推过程坐实成代码的人；以及隔了一阵回头复习、想快速把每个算法的形状重新摸一遍的人。整条线拆开只有三层：模型假设与代价函数、梯度推导与优化、评估与调参。三层咬合得很紧，前一层错了，后一层再怎么调都是玄学。所以别急着跑通，先看清楚自己站在哪一层。
2. 模块分层：从线性回归到推荐系统的十个练习
这十个左右的练习并不是并列关系，而是四条线并行推进：监督学习一条线，把回归、分类、正则化串起来；神经网络一条线，前向和反向各是一道坎；无监督与降维一条线，K-means 和 PCA 互为镜像；最后落到异常检测和推荐系统这两个工程味最重的模块。复习的时候按线走比按序号走有用得多，因为同一根线上的错误往往长得一模一样——比如线性回归里忘了特征归一化，到了逻辑回归会以"不收敛"的形式再冒出来一次。
2.1 监督学习三件套：线性回归、逻辑回归与正则化
线性回归是整个体系的起点，它把"模型"和"损失"两件事第一次摆到明面上。假设函数是 h(x) = θᵀx，代价函数是均方误差，优化手段有两条路：梯度下降和正规方程。前者要调学习率、要迭代、要观察代价曲线；后者一次矩阵运算出结果，但要求特征数不至于大到矩阵求逆扛不住。多变量版本真正的新东西不是公式，是特征缩放——不同量纲的特征放进同一个梯度里，收敛路径会被拉成一条又细又长的椭圆，肉眼看上去就是"怎么调学习率都不对"。
逻辑回归换了个外壳，假设函数套一层 sigmoid，代价函数从均方误差换成交叉熵。这一步换得很有必要：把 sigmoid 塞进均方误差会得到一个非凸的代价面，梯度下降容易停在半路；交叉熵则保证了凸性。多分类用 one-vs-all 拆成若干个二分类，训练时把某一类标 1、其余标 0，预测时取分数最高的那个类别。
正则化是这两者的公共补丁。加了 λ 之后，代价函数多出一项惩罚，梯度里多出一项 λ/m·θ。这里有个几乎所有初学都会踩的点：正则化项不包含偏置项 θ₀。因为 θ₀ 只负责平移决策边界，惩罚它没有任何抑制过拟合的意义。
| 模块 | 代价函数核心 | 梯度核心 | 最典型的问题 |
|---|---|---|---|
| 线性回归 | (1/2m)Σ(h−y)² | (1/m)Xᵀ(Xθ−y) | 未归一化导致不收敛 |
| 逻辑回归 | −(1/m)Σ[y·log h+(1−y)log(1−h)] | (1/m)Xᵀ(h−y) | 忘记加 sigmoid 或 log 底数 |
| 正则化版本 | 原式 + λ/2m·Σθⱼ²(j≥1) | 原式 + λ/m·θⱼ(j≥1) | 把 θ₀ 也正则化了 |
向量化写法可以照着抄，重点是 X 的形状是 (m, n+1)，第一列全是 1，θ 是 (n+1, 1)：
# X: (m, n+1)，第一列为 1；y: (m, 1)；theta: (n+1, 1) def cost_grad(theta, X, y, lam=0.0): m = len(y) h = X @ theta # (m,1) 预测值 err = h - y J = (err.T @ err) / (2 * m) # 均方误差主体 grad = (X.T @ err) / m # 未正则化的梯度 reg = theta.copy() reg[0] = 0 # 关键：偏置项不参与正则 J += lam / (2 * m) * (reg.T @ reg) grad += lam / m * reg return J.item(), grad这段代码里reg[0] = 0那一行是重点，删掉它损失函数照样能算、梯度照样能下降，只是结果会悄悄偏一点点，属于最难查的那种错。J.item()是为了把 1×1 的矩阵压成标量，方便比较大小，不写也能跑，只是打印出来会多一层方括号。
2.2 神经网络：前向传播与反向传播的两道坎
神经网络作业的难点不在公式多，而在维度多。一个三层网络（输入层、一个隐藏层、输出层）就有四组形状要盯：X、Θ1、Θ2、输出。维度对不上是最高频的报错来源，而对上了也可能因为你转置反了，结果依旧能算出一个数，只是全错。
先看前向传播的形状链条。假设输入是 400 维、隐藏层 25 个单元、输出 10 类、样本数 m：
| 变量 | 形状 | 说明 |
|---|---|---|
| X | (m, 400) | 每行一个样本 |
| Θ1 | (25, 401) | 多出的一列是隐藏层偏置 |
| z2 / a2 | (m, 25) | a2 需要补一列 1 变成 (m, 26) |
| Θ2 | (10, 26) | 对应补过偏置的 a2 |
| z3 / h | (m, 10) | 每行是 10 个类别的得分 |
注意 Θ1 的行数是"下一层的单元数"，列数是"上一层的单元数 + 1"，这个顺序记反了就会出现 (401, 25) 这样能乘但语义错的结果。
import numpy as np def sigmoid(z): return 1 / (1 + np.exp(-z)) def forward(X, Theta1, Theta2): m = X.shape[0] a1 = X z2 = a1 @ Theta1.T # (m, 25) a2 = sigmoid(z2) a2 = np.hstack([np.ones((m, 1)), a2]) # 补偏置列 -> (m, 26) z3 = a2 @ Theta2.T # (m, 10) h = sigmoid(z3) return a1, z2, a2, hnp.hstack那一行是前向传播的分水岭：漏了它，a2 @ Theta2.T会直接因形状不匹配报错；补错了位置（补在最后一列）则能算但全错。补完之后 Θ2 的列数必须跟着变成 26，这就是上表里那个"26"的来源。
反向传播的骨架是误差回传。输出层误差 δ3 = h − y（y 是 one-hot），隐藏层误差 δ2 = (δ3 @ Θ2 去掉偏置列) ⊙ g′(z2)，其中 g′ 是 sigmoid 的导数，可以直接用前向缓存下来的 a2 表示：g′(z2) = a2 ⊙ (1 − a2)。最后 Θ1 的梯度是 δ2ᵀ @ a1 / m，Θ2 的梯度是 δ3ᵀ @ a2 / m。
注意：δ2 用的是去掉偏置列的 a2，不是补过 1 的那一版。这一步和正则化的"跳过偏置"是同一个道理——偏置单元没有输入误差可回传。
反向传播写完必须做梯度校验，否则你永远不知道错的是公式还是超参。数值梯度的做法是对每个参数加减小 ε，用差分近似偏导，再和解析梯度比相对误差，通常要求小于 1e-9 量级才算通过：
def numeric_grad(f, theta, eps=1e-4, n=10): # 只抽查前 n 个参数，全量校验太慢 grad = np.zeros(n) for i in range(n): up, down = theta.copy(), theta.copy() up.flat[i] += eps down.flat[i] -= eps grad[i] = (f(up) - f(down)) / (2 * eps) return grad校验通过之后记得把校验代码关掉，它的开销是正常训练的几十倍。这个模块还埋着一条血泪经验：权重不能初始化为全 0，否则同一层的所有单元学到完全相同的特征，网络等于只有一两个神经元在干活，现象是损失下降得特别慢、精度卡住不动。正确做法是随机初始化，把 Θ 采样成 [−ε, ε] 上的均匀分布。
2.3 无监督与降维：K-means 与 PCA 的对称性
K-means 的算法只有两步在循环：把每个样本分给最近的中心，再把每个中心移到所属样本的均值位置。写起来短，但有两个细节决定结果好坏。一是初始化，随机挑 K 个样本当初始中心，运气不好会陷进很差的局部最优，所以标准做法是重复跑几十次取代价最小的那次；二是空簇的处理，如果某一轮某个中心没分到任何样本，得重新随机指定它，不然会出现除零。
def kmeans_step(X, centroids): # 广播计算每个样本到每个中心的平方距离 d = ((X[:, None, :] - centroids[None, :, :]) ** 2).sum(axis=2) idx = d.argmin(axis=1) # 每个样本归属的簇 for k in range(centroids.shape[0]): pts = X[idx == k] if len(pts) > 0: centroids[k] = pts.mean(axis=0) return idx, centroidsX[:, None, :] - centroids[None, :, :]这一行是向量化的关键，它把 (m, n) 和 (K, n) 扩成 (m, K, n) 再逐元素相减，避免了双层 for 循环。样本量大时这一行会吃掉不少内存，可以换成分块计算，但作业规模下直接写就行。
PCA 的流程固定得像一条流水线：先做均值归一化（每个特征减均值），再看情况做特征缩放，然后算协方差矩阵 Σ = XᵀX/m，对它做 SVD，取 U 的前 K 列作为投影矩阵，最后 Z = XU_reduce 得到降维结果。反向还原用 XRec = ZU_reduceᵀ，重构误差能直观说明丢掉的信息量。
这里最容易出岔子的是"要不要归一化"。PCA 之前不做均值归一化，第一主成分会被均值偏移带偏；但做不做方差归一化要看场景——如果各特征量纲差异大（一个是以千计的像素值，一个是 0 到 1 的比例），不做缩放会让数值大的特征独吞主成分。选择 K 的常用判据是累计方差贡献率，看前 K 个奇异值平方和占总和的 95% 以上。
2.4 异常检测与推荐系统：评估指标最容易被忽略的模块
异常检测的数据极度不平衡，可能一千个样本里只有几个异常，这时候用准确率评估毫无意义，全判正常也能有 99% 以上。所以这个模块的重点不是高斯公式本身，而是怎么选阈值 ε：对每个候选 ε 算一遍 F1，取最大的那个。F1 是精确率和召回率的调和平均，公式是 2PR/(P+R)，它对两头都敏感，正好适合这种少数类任务。
参数估计部分倒不复杂，每个特征独立假设服从高斯分布，均值取样本均值、方差取样本方差，多个特征的联合概率直接连乘，取对数避免数值下溢。需要注意的是训练集和验证集的划分要包含足够多的异常样本，否则阈值根本调不出来。
推荐系统的核心是协同过滤，它把用户和物品的特征都当成未知参数一起学。代价函数里带一个掩码矩阵 R，只在用户真的评过分的那些格子上算误差，没评过的地方不参与损失也不参与梯度：
def cofi_cost(X, Theta, Y, R, lam=10.0): err = (X @ Theta.T - Y) * R # 掩码：只保留已评分位置 J = 0.5 * (err ** 2).sum() J += lam / 2 * ((Theta ** 2).sum() + (X ** 2).sum()) X_grad = err @ Theta + lam * X Theta_grad = err.T @ X + lam * Theta return J, X_grad, Theta_grad掩码* R是这个模块的灵魂。漏了它，模型会去拟合所有位置（包括那些标着 0 的未评分格），结果是预测全线偏低。另一个容易忽略的点是正则化这里对 X 和 Θ 都要加，不能只加一边，因为两者都是待学参数，地位对称。
3. 无答案版用法：把留白的地方真正填对
拿到一份掏空的作业文件，最糟的用法是打开有答案版逐行抄进去。抄完之后你会有一种"我会了"的错觉，但一到白纸上重写，梯度里的 1/m 就会漏、转置就会反、正则化就会多算一项。无答案版的价值恰恰在于它强迫你经历"卡住—试错—对不上—再改"这个循环，而这个循环才是记忆真正成型的地方。下面这套流程是我自己反复用过、比较省时间的顺序。
3.1 骨架阅读法：先看函数签名再看注释
每个待填函数都别急着写实现，先花两分钟读三样东西：函数签名里的输入输出、注释里描述的期望形状、调用它的上层代码怎么用返回值。这三样合起来能推出大部分约束——比如一个函数返回J, grad，上层代码写的是cost, g = costFunction(theta, X, y)，你就知道grad必须和theta同形状，否则后面优化器传参会直接崩。
更省事的做法是先看数据加载脚本。作业里的数据集通常是 .mat 或者 .txt，加载完之后会打印形状，把那个形状抄在函数旁边，写实现时每算一步就对着核一次。维度对了，公式大概率就对了；维度不对，说明你对"谁是行谁是列"的理解有偏差，这时候改公式是没用的，得先回头把矩阵乘法的语义捋一遍。
留白的函数通常分三类：纯计算型（代价函数、梯度）、过程型（训练循环、参数更新）、评估型（预测、打分）。第一类要一次性写对，因为它决定了后面的所有结果；第二类可以边跑边调，看代价曲线；第三类最简单，几乎都是前向传播的复用。建议按"评估 → 纯计算 → 过程"的顺序写，先写预测函数能让你在数据上快速看到一个基线，心里有个数。
3.2 向量化改造：把双层 for 循环压成矩阵运算
无答案版里很多注释会写"你应该用向量化实现，不要用循环"。这条要求不是为了炫技，是因为循环版本在数据量上去之后慢到没法调参。改造的通用套路是：先写出朴素的循环版本验证正确性，再逐步替换。
以线性回归的代价函数为例，循环版是for i: J += (h(x_i) - y_i)**2，向量化版本把求和变成内积err.T @ err。梯度同理，for j: grad[j] = sum((h - y) * X[:, j])等价于X.T @ (h - y)。判断改对了没有，最简单的办法是两个版本各跑一次，比对数值是否在 1e-12 内一致。
再往上一步是广播。像 K-means 里"每个样本到每个中心的距离"这种三维关系，用X[:, None, :] - centroids[None, :, :]一行就出来了。广播的规则是：从最后一维往前对齐，长度相同或其中一个为 1 才能相容。掌握这一条，大部分"维度不匹配"的报错都能自己看懂。
提示：向量化之后如果结果突然变成全 NaN，八成是
exp溢出或者除零。给 sigmoid 加一个裁剪（把 z 限制在 [-500, 500]）能挡住大部分情况，虽然作业数据通常用不着。
3.3 数值自检：损失单调下降与梯度校验
写完一个代价函数，第一件事不是看精度，是看损失曲线的形状。正常情况下训练损失应该单调不增，早期下降快、后期变缓。如果出现锯齿、上升、或者一开始就 NaN，说明学习率偏大或者公式写错了——这两者的区别是：学习率问题把 α 调小十倍立刻就好，公式问题调多少次都不好。
梯度校验是第二道保险。做法是把代价函数包一层，对参数做数值差分，再和解析梯度比对。注意校验要在正则化打开的情况下做一次、关闭的情况下再做一次，因为正则化项的梯度是最容易漏的。校验通过的判据是相对误差小于 1e-9，如果误差在 1e-4 量级，通常是忘了重置被修改过的参数副本，这类错误查起来很费时间。
还有一个小习惯很有用：把每个函数的中间结果（比如 h 的前五个值、梯度的前三个分量）打印出来，和手算的小样本对一遍。手算两三个数据点不难，但能立刻暴露"公式方向对不对"这个根本问题。
4. 有答案版用法：对照分叉而不是对着抄
有答案版的正确姿势是"先自己写完，再逐函数比对差异，然后解释差异"。判断是否真的掌握，标准很简单：能不能说清楚每一处差异是"我错了"还是"写法不同但等价"。说不清楚的地方就是知识漏洞，得回去补。下面这两步是我觉得收益最高的。
4.1 三类分叉：看清差异到底出在哪
对照的时候别逐行看，先按函数跑一遍两者，比较输出。数值一致的函数直接跳过，不一致的再进去看。不一致的情况基本落在三类里。
第一类是索引错位。典型的是正则化跳过了不该跳的项，或者补偏置列的时机不对。这类差异有个共同特征：结果"差不多对但不完全对"，精度比参考值低一两个百分点，损失曲线形状相似但没有完全重合。查的时候直接看涉及切片的那几行。
第二类是正则化漏项或重复项。梯度里加了 λ/m·θ 但代价函数里忘了加，或者代价函数里除以 2m 而梯度里除以 m 却少了一个 2。这类错误在 λ 很小的时候几乎看不出来，只有把 λ 调大才显形。对照时故意把 λ 设成 10 跑一次，差异会放大得很明显。
第三类是收敛判据差异。优化器给的最大迭代次数、容差、是否返回中间历史，这些不同会让最终参数有微小差别，但代价函数的终值应该很接近。如果终值差得远，问题不在判据上，得回到前两类去找。
| 分叉类型 | 典型现象 | 定位手段 |
|---|---|---|
| 索引错位 | 结果接近但精度偏低 | 检查切片与补偏置的行 |
| 正则化漏项 | λ 小时看不出，λ 大时差异明显 | 把 λ 调大重跑对比 |
| 收敛判据 | 参数微小差异、代价终值接近 | 统一迭代次数与容差后重比 |
4.2 把答案反推成检查清单
比"看懂答案"更进一层的是把答案当素材，反推出一份自己的检查清单。具体做法是：每对照完一个函数，就写一条"以后写这个函数必须先确认的事"。比如对照完正则化梯度，写一条"确认 reg[0]=0"；对照完神经网络反向传播，写一条"确认 δ2 用的是去偏置的 a2"。
这份清单积累到十来个条目之后，你会发现它们覆盖的正是这门课的全部易错点。之后每次重刷，先扫一遍清单再动手，能省掉大量调试时间。这也是"个人笔记"那份文件真正的价值所在——它不是教材的复述，而是别人踩过坑之后记下来的路标。
4.3 从"改对"到"讲得出"
最后一个检验标准是能不能不看答案，用三句话讲清这个函数在干什么：输入是什么、输出是什么、中间那一步为什么必须这么写。讲不出来的地方往往是"我照着写了但没想明白"的地方，这类知识在考试或者换数据集的时候会立刻崩掉。
举个具体的例子。PCA 里为什么要用 SVD 而不是直接对协方差矩阵做特征分解？能讲清楚"协方差矩阵是对称半正定的，SVD 和特征分解在数学上等价，但 SVD 数值更稳、不用显式构造特征向量矩阵"的人，和只会敲svd(Sigma)的人，遇到高维数据时的处理能力完全不是一个层级。
5. 易错点：五个反复翻车的地方
这些点几乎每一轮复习都会重新踩一次，区别只是踩得早还是踩得晚。按"易漏点 → 为什么漏 → 怎么补"整理一遍，比单纯列公式有用。
5.1 正则化把偏置项也算进去了
易漏点：写正则化的时候直接对整个 θ 向量求平方和，包括 θ₀。
为什么漏：因为向量化的写法里 θ 就是一个整体，theta.T @ theta写起来太顺手了，而"排除第一项"需要在脑子里多绕一道弯。教材上的公式往往写成 Σθⱼ²（j 从 1 开始），这个下标稍不注意就被略过。
怎么补：所有涉及正则化的地方，统一先复制一份参数、把第一个元素置零再算。代码里养成固定写法，别每次现推。另外在梯度校验时特意把 λ 设大做一次校验，漏项会立刻暴露。
5.2 归一化参数用错了数据集
易漏点：用整个数据集算均值和标准差，然后拿去做训练集和测试集的归一化。
为什么漏：作业里常常一次性加载全部数据，顺手对整个矩阵求 mean 和 std 是最短的路径。而在真实场景里，测试集的数据在训练时根本拿不到。
怎么补：只在训练集上拟合归一化参数，然后用同一组参数去变换验证集和测试集。写成"fit 在训练集、transform 在全部"的两段式，别图省事合成一步。这个习惯迁移到任何 pipeline 里都成立。
5.3 转置和维度顺序搞反
易漏点：X @ theta和theta.T @ X混用，或者 Θ1 写成 (输入维度, 隐藏单元数)。
为什么漏：小规模数据下转置反了往往也能乘出一个矩阵，不报错，只是结果全错；而且误差是渐进的，损失照样在降，只是收敛到一个更差的位置。
怎么补：写之前先把每个变量的形状写在注释里，写完打印shape核一遍。神经网络的权重矩阵统一记成"行是下一层、列是上一层+1"，这个约定一旦定死就别改。
5.4 学习率和收敛判据混为一谈
易漏点：损失不降就怪公式，或者损失爆炸就以为是代码写错。
为什么漏：这两种现象看起来很像，但成因完全不同。学习率过大会让损失震荡甚至发散，公式写错则表现为损失降到一个明显偏高的平台期。
怎么补：分两步排查。先把 α 缩小十倍跑一次，如果曲线变平滑并继续下降，就是学习率问题；如果曲线形状几乎不变、只是整体平移，那要回去查公式。另外画出迭代次数-损失曲线比只看终值有用得多。
5.5 K-means 和 PCA 的预处理被跳过
易漏点：K-means 之前不做特征缩放，PCA 之前不做均值归一化。
为什么漏：这两个算法在作业里被放在无监督模块，前面监督学习的归一化习惯容易断档。而且不做预处理时算法照样能跑出结果，只是结果没什么意义。
怎么补：把"预处理"写进这两个函数的第一行注释里，当成算法的一部分而不是可选步骤。K-means 的距离度量对量纲敏感，PCA 的主成分方向对均值敏感，这两条理由记住，就不会再跳过。
6. 复习清单：两周把整条线过一遍的自查表
复习这套作业最怕的是"每个都眼熟，但一合上就写不出来"。我的做法是把整条线压成一张表，每格对应一个可以独立验证的动作，做完打勾，做不出来的那一格就是当天的复习重点。按两周算，每天两到三格，节奏刚好。
| 序号 | 自查动作 | 通过标准 |
|---|---|---|
| 1 | 手推线性回归梯度并写成向量化代码 | 与数值梯度相对误差 < 1e-9 |
| 2 | 改一遍正则化项，故意漏掉 θ₀ | 能说出误差会在 λ 调大时放大 |
| 3 | 不看答案写出逻辑回归代价与梯度 | 损失单调下降且收敛 |
| 4 | 画出神经网络各层形状表 | 五个变量形状全部正确 |
| 5 | 手写反向传播的 δ2、δ3 | 梯度校验通过 |
| 6 | 解释为什么权重不能初始化为 0 | 能说出对称性破坏 |
| 7 | 写 K-means 两步循环 | 空簇有处理，多次初始化取最优 |
| 8 | 写 PCA 完整流程 | 归一化、协方差、SVD、投影、重构齐全 |
| 9 | 用 F1 选异常检测阈值 | 能解释为何不用准确率 |
| 10 | 写协同过滤代价与两侧梯度 | 掩码矩阵 R 正确参与 |
| 11 | 画学习曲线判断偏差方差 | 能从曲线形状说出该加特征还是加数据 |
| 12 | 把 λ 从 0 调到 10，观察四类模型变化 | 能预判每类模型的表现方向 |
这张表的用法不是从上到下顺着做，而是先整体扫一遍，把"完全没把握"的格子标出来优先处理，把"能讲清但写不快"的放后面。第 11 项和第 12 项看着最虚，其实最能拉开差距——它们是唯一需要你把多个模块横向拉通比较的地方，也是考试里最爱出的综合题型。
具体到操作上，我建议把每格的验证产物留下来：一段能跑的代码、一张画出来的曲线、或者三行文字说明。两周之后回头翻，你会一眼看出哪几格是空的。空的那几格不用重头学，直接回到对应章节重写一遍函数即可，比重看视频快得多。
还有一个容易被忽视的收尾动作：把第 5 章那五个易错点做成一张便签，贴在每次动手之前扫一眼的位置。这些点的共同特征是"写错了程序照样跑"，靠运行结果自检是查不出来的，只能靠动手前的预防。我自己的便签上就写着四行——正则跳零、只在训练集上拟合归一化、形状写进注释、λ 调大再对一次，每次重刷都先看一遍再开编辑器。
从那以后我每次重刷这套作业，都强制自己先合上答案版把留白文件跑一遍，跑完再去对照，对照完写一条检查清单。这套流程慢，但两周下来该记的都记住了。希望帮到你。
本文还有配套的精品资源，点击获取
