简介：吴恩达机器学习课程的作业实现包，同时提供Python自写版和Matlab原版，覆盖线性回归、逻辑回归、神经网络、支持向量机、K均值、PCA等经典算法练习。包内共323个文件，以169个m文件承载Matlab原版实现，另配21个ipynb的Python笔记、57个txt说明、57个mat数据文件及16个pdf扩展资料，整体约71.86MB，章节编号清晰，可逐次对照预习题、代码与结果。已有2837人学习，适合希望动手复现课程实验、深入理解算法原理，或在两个语言生态中比较实现方式的初学者和进阶者。通过逐行调试ipynb与m代码，可完整走通数据预处理、特征工程、模型训练、参数调优与可视化评估流程；同时借助Matlab原版体会课程原有的教学设计，并对比Python生态的灵活工程化优势，为后续独立完成机器学习任务积累扎实的代码基础与排错经验。 很多人在Coursera上刷吴恩达的机器学习课程时，都会卡在同一个地方：课程作业用的是Matlab/Octave，而自己平时用的是Python。一边是熟悉的NumPy、Matplotlib，另一边是早就忘光的Matlab语法。这节课的作业到底要不要用Python重写一遍？重写过程中会遇到哪些问题？这里我用自己实际跑通全部作业的经历，把从Matlab原版到Python版本迁移的核心思路、关键差异和踩过的坑一次性说清楚。
我最早也是跟着课程原版用Matlab做作业，做到ex3神经网络那一节时，向量化的矩阵运算在Matlab里其实写起来很顺手，但转到Python后，最直观的感受是：NumPy的索引规则、广播机制、以及scipy.optimize.minimize的接口参数，跟Matlab的fminunc完全是两套逻辑。很多同学在论坛里问"为什么我的cost function算出来是NaN"或者"为什么优化器迭代了几百次还不收敛"，其实根源大多不在算法本身，而在Python重写时对原版代码做了"逐行直译"——用Matlab的思路去写NumPy，自然处处碰壁。
这篇内容适合三类人：一是正在跟课、想把作业换成Python环境完成的同学；二是想借这套经典作业深入理解梯度下降、神经网络反向传播等基础算法的学习者；三是已经刷完课，想重新用Python实现一遍加深印象的进阶玩家。如果你是零基础，还没装好Python环境，建议先配好Anaconda再回来看。
1. 为什么值得把Matlab原版作业重写成Python
这门课的作业价值不在代码本身，而在"用最小代价实现完整算法链路"的训练量。吴恩达在视频里把公式推导讲得很细，但真正动手写代码时，你会发现自己对"θ更新时到底是逐元素乘还是矩阵乘""偏置项要不要加在X矩阵里"这些问题其实是一知半解的。Matlab原版作业的好处是矩阵运算语法简洁，坏处是你如果只用Matlab，出了课程就很难有继续拓展的生态。
Python版作业在这门课社区里已经有非常成熟的方案，但市面上大部分仓库是"直接给出答案"，很少有人讲清楚每一步迁移背后的原因。我自己重写时立了两个标准：第一，不直接抄别人写好的Python作业，必须自己从Matlab原版思路推导一遍；第二，尽量保持与课程原版的算法结构一致，但用Pythonic的方式重写——用numpy替代矩阵运算，用scipy.optimize替代fminunc，用matplotlib替代plot。这样既能对照原版验证正确性，又能真正理解两种语言在数值计算上的设计差异。
重写的收益在后期会越来越明显。课程后半段的ex7（K-means和PCA）、ex8（异常检测和协同过滤）涉及大量数据可视化操作，Python生态里的matplotlib、seaborn、pandas能让你更直观地观察算法行为。而Matlab原版的绘图虽然也很强大，但脱离课程环境之后，你很难把那些脚本直接复用到真实项目中。Python版作业写完后，你可以直接把数据加载、特征归一化、模型训练这些代码迁移到Kaggle竞赛或者工作里的数据集上，这正是这门课作业最大的隐藏价值。
2. 从.m到.py的映射：核心差异与关键函数对照
2.1 文件结构与数据格式的前置处理
Matlab原版作业通常会给ex1.m、ex1_multi.m这类主脚本，外加若干costFunction.m、gradientDescent.m函数文件，数据则是ex1data1.txt这种纯文本格式。Python重写的第一步是拆解主脚本的执行顺序，把"加载数据-初始化参数-调用优化器-可视化结果"这几个步骤拆成独立的函数模块。我的做法是每个作业建一个Python包，类似这样：
ex1/ ├── main.py # 主流程：线性回归（单变量+多变量） ├── utils.py # 数据加载、特征归一化、绘图辅助 ├── cost_function.py # 代价函数与梯度 └── gradient_descent.py # 梯度下降实现数据加载上，Matlab用load('ex1data1.txt')，Python用numpy.loadtxt或pandas.read_csv，这一步比较简单。但要注意：原版作业里有些数据是.mat格式（比如ex3的手写数字、ex8的movie ratings），这时候Python需要用scipy.io.loadmat来读，读出来是一个字典结构，里面每个键对应一个Matlab变量。很多人在这一步就卡住了，总以为loadmat读出来直接就是数组，实际上必须通过data['X']这种键名方式取数据。
2.2 矩阵运算的思维切换：从下标到广播
Matlab和NumPy在矩阵运算上最大的差异是索引规则和广播机制。Matlab下标从1开始，NumPy从0开始；更重要的是，Matlab默认把二维数组当作矩阵，A * B是矩阵乘法，而NumPy里*是逐元素相乘，矩阵乘法必须用@或np.dot。这个差异在写梯度下降时尤其容易出问题。
以ex1的线性回归为例，更新公式是θ := θ - (α/m) * X^T * (X*θ - y)。在Matlab里直接写theta = theta - (alpha/m) * (X' * (X * theta - y))。但在Python里，如果你想着"直译"成theta = theta - (alpha/m) * (X.T @ (X @ theta - y))，在只有单一特征时可能正确，但一旦扩展到多特征，X矩阵维度变了，如果X是(m, n+1)而不是(m, n)，你的theta维度就对不上，广播机制会悄悄报错或者算出一个奇怪的形状。所以重写时我给自己定了一条规则：每一步运算都检查结果形状是不是(m, 1)或者(n, 1)，确保没有因广播导致的隐性错误。
2.3 优化器替代方案：fminunc的Python味选择
课程原版用了大量fminunc来做无约束优化，从ex2的逻辑回归到ex4的神经网络，几乎每道题都在用。Python里最对等的替代是scipy.optimize.minimize。两者最关键的参数映射是：
Matlabfminunc | Pythonscipy.optimize.minimize | 说明 |
|---|---|---|
@costFunction | fun=cost_function | 代价函数签名必须为fun(theta, X, y) |
grad（在costFunction里返回） | jac=True | 需要在代价函数里同时返回cost和gradient |
options.MaxIter | options={'maxiter': 50} | 最大迭代次数 |
options.GradObj | jac | 是否使用梯度 |
theta0 | x0 | 初始参数向量 |
这里有个特别容易踩的坑：scipy.optimize.minimize默认调用的是拟牛顿法（BFGS），它会自动用有限差分估计梯度，如果你在代价函数里同时返回了梯度和代价，一定要把jac设为True，否则优化器会忽略你手动计算的梯度，用数值微分重新算一遍梯度，不仅慢，还容易出现精度问题。我在重写ex2时第一次没设jac=True，结果迭代了300多次代价仍在缓慢下降，设了之后几十次就收敛了。
3. 逐题拆解：从ex1到ex8的Python重写重点与难点
3.1 ex1线性回归与ex2逻辑回归：扎实基础
ex1太简单，大部分人在半小时内就能搞定。但有两个细节值得留意。一是特征归一化：原版作业专门写了featureNormalize.m，Python里直接用mean和std计算，但要注意std在NumPy里默认是有偏估计（除以n），Matlab的std默认是无偏估计（除以n-1）。这个差异会让归一化后的特征值略有不同，但线性回归的最终θ结果差异很小；不过如果你后面用正规方程求解，就会发现在某些数据上数值差异会被放大，所以建议统一用np.std(X, axis=0, ddof=1)去模拟Matlab的std行为。
ex2逻辑回归开始引入代价函数和梯度的"成对返回"模式。这里有一个细节：scipy.optimize.minimize要求代价函数返回的是标量代价和梯度向量，但很多人在实现时会把gradient写成对每个参数分别求解的循环，这在特征不多时没问题，一旦特征多了性能会很差。正确做法是用矩阵运算一次性算出整个梯度向量，代码核心就是：
h = sigmoid(X @ theta) grad = (1/m) * (X.T @ (h - y))我见过不少人因为把sigmoid函数里的指数运算写成了np.exp(-X @ theta)导致溢出，最后cost直接变NaN。一个稳妥的做法是对np.exp的输入做一个裁剪，或者使用scipy.special.expit这个数值稳定的sigmoid实现，就完全不会出现溢出问题。
3.2 ex3多类分类与ex4神经网络：向量化是硬仗
ex3开始上强度了。用一对多（one-vs-all）做手写数字识别，需要在训练集上循环10次训练分类器，每一步都是矩阵运算。这里Python重写最容易出问题的是scipy.optimize.minimize的x0参数：因为你训练10个分类器，每个分类器有一个初始θ向量，如果直接用同一个theta0数组去循环，minimize内部可能会修改x0（实际上不会，但如果你把theta0当作可变对象传入其他函数，可能会被意外覆盖）。稳妥做法是在循环里用theta0.copy()生成新的初始参数。
ex4的反向传播是整门课最难的作业，没有之一。Matlab原版里，神经网络的参数以向量形式传入nnCostFunction，需要先用reshape还原成各层的权重矩阵，算完梯度后再reshape回向量。Python重写时，这一步的reshape操作最容易出bug。因为numpy的数组默认按行优先存储，而Matlab按列优先存储。如果你直接照搬Matlab代码里的reshape顺序，参数的排列方式会和Matlab不同，但只要你保证"展开"和"还原"是互逆操作，结果其实不受影响。警惕的是：如果某处不小心用F（Fortran顺序）展开，另一处用C（C顺序）还原，那参数就全乱了，训练出来的模型准确率会极其诡异。这个坑我调了一整个下午才发现。
反向传播里梯度检查（gradient checking）在Python里实现反而比Matlab更顺手，因为scipy.optimize.check_grad可以直接用。不过要注意：梯度检查时一定要把epsilon设成1e-4左右，太大梯度近似误差大，太小数值计算会有舍入误差，而且数值梯度计算时要用中心差分而不是单边差分。
3.3 ex5偏差方差与ex6 SVM：训练曲线绘制与核函数
ex5的核心是绘制学习曲线（learning curves），用来诊断高偏差还是高方差。这个作业的本质是训练多个模型，每次用训练集的不同子集，然后在训练集和验证集上分别计算代价。Python里这一步比较直观，但有个隐藏坑：原版作业里训练模型时用的是fmincg（共轭梯度法），而Python端如果继续用scipy.optimize.minimize的BFGS，在小样本集上训练时间会明显增长。我实测下来，在lambda=0的情况下，BFGS确实比共轭梯度慢一些，但在数据量小的场景下差别不大，只是迭代次数多一些。如果你觉得速度太慢，可以试试method='CG'配置。
ex6 SVM那节，原版作业其实调用了Matlab的svmTrain工具包，并不是你自己手写SVM。Python重写这边，比较主流的方式是直接调scikit-learn的svm.SVC，但为了保持"自己动手实现"的体验，很多人在调参后用matplotlib绘制高斯核的决策边界。这部分作业在Python生态里非常舒服，因为sklearn.svm.SVC的接口比Matlab的svmTrain更简洁，而且可视化工具链更成熟。这里我给一个建议：不要在这节花太多时间手写SVM优化器，重点放到高斯核的sigma参数对决策边界形状的影响上。
3.4 ex7 K-means与PCA、ex8异常检测与协同过滤：数据降维实战
ex7的K-means作业包含两个部分：像素压缩和PCA人脸降维。像素压缩这节，关键是实现findClosestCentroids和computeCentroids两个函数。Python里用scipy.spatial.distance.cdist可以快速计算每个样本到所有聚类中心的距离，比纯循环快得多，这是我在重写时最喜欢的一个优化点。
PCA部分的难点在于理解np.linalg.svd的返回值和Matlab的svd完全一致，都是U、S、V三者。但如果你习惯用np.linalg.eig算特征值分解，那么要注意特征向量是按列排的，跟Matlab的eig结果顺序可能不同，需要做符号对齐处理（即如果特征向量的某个元素符号相反，整个向量的方向就会翻转，但降维后重建的图像视觉上一致）。
ex8的异常检测作业里，多元高斯分布的参数估计非常简单，但Python重写时有个细节：协方差矩阵的半正定性。如果某个特征是常数，协方差矩阵会奇异，np.linalg.det会算出0，概率密度函数直接变无穷或NaN。所以在估计多元高斯时，先对数据做一次标准化，或者给协方差矩阵加一个小的对角扰动（比如+ 1e-6 * np.eye(n)）是很必要的。协同过滤部分，同样地正则化是在代价函数里加一项(lambda/2) * (sum(X**2) + sum(Theta**2))，这部分如果理解了矩阵形状，基本一次过。
4. 重写过程中最常见的Bug与排查路径
4.1 从NaN到正确：排查维度不匹配的三板斧
我在重写过程中遇到过很多次cost突然变成NaN的情况，最典型的原因是用了np.log(0)或者sigmoid溢出。np.log(0)会直接得到负无穷，后面的np.multiply或者np.sum就会产生NaN。排查思路是：先在sigmoid函数里加一个下限裁剪（np.clip），或者改用scipy.special.expit；然后检查X @ theta的结果范围，如果数值超过几十，大概率是特征没有归一化，或者初始参数设得太大。
第二个高频坑是维度不匹配。numpy的@运算在维度不匹配时会直接抛ValueError，这个还算好定位。最麻烦的是广播机制"偷偷"改变了矩阵形状。比如你有theta形状是(3,)，X形状是(47, 3)，X @ theta结果是(47,)，再减去y（(47, 1)），广播就会变成(47, 47)的矩阵——完全跑偏。为了避免这种问题，我在所有涉及theta的地方，都会先theta = theta.reshape(-1, 1)强制列向量形状，或者用theta.reshape(n, )拉平成一维数组。另外，写完后用np.shape检查每个中间变量的维度，是排查这类问题最有效的手段。
4.2 优化器不收敛：不是算法问题，是接口姿势问题
很多同学把代价函数和梯度写好后，用minimize优化，发现迭代到几十次后fun还在下降，但下降速度极慢，最后也没达到课程要求的精度。这未必是算法写错了，很可能是minimize的tol和options设置不对。scipy.optimize.minimize默认的tol是1e-8，但maxiter默认非常小（对BFGS是1e4）。如果你的代价函数初始值在1000级别，tol=1e-8会导致优化器认为还没收敛，一直迭代到maxiter耗尽。一个合适做法是设置options={'maxiter': 400}，同时把tol调到1e-6，这样既能观察到代价的稳步下降，又不会卡死在太严苛的收敛条件上。
另外有个特别容易被忽略的点：minimize的x0必须是一维数组。这在神经网络作业里尤其致命——如果你把权重矩阵直接以二维形式传入，minimize会直接报错或者破坏权重矩阵的结构。所以ex4里，一定要先把每一层的权重矩阵reshape成一维向量，拼成一个大的参数向量，代价函数内部再按分割点reshape回各层矩阵。
4.3 可视化结果不对？先检查数据加载和预处理
有一类问题跟算法无关，纯粹是数据加载或预处理阶段埋下了雷。典型例子是：用loadmat读.mat文件时，数据是(m, n)还是(n, m)很容易搞混，转置一下结果画面完全不同。我的排查经验是先把X.shape、y.shape、X.min()、X.max()这些基本信息打印出来，和原版Matlab工作区里的变量核对一遍。如果归一化后出现全零列，多半是原数据里有常数特征，或者归一化的axis参数写错了。这些坑都不是算法问题，但如果你没有一套系统的排查思路，很容易耗掉大量时间。
5. 关于"自己写一遍"这件事的最终建议
如果你是打算直接搜一个Python版作业仓库来跑通课程，那确实省时省力，但收获会大打折扣。我自己的体会是：真正动手从Matlab原版思路迁移到Python，期间遇到的每一个维度报错、每一次NaN问题、每一回优化器不收敛，都是在逼着你把"矩阵运算的形状""梯度计算的链式法则""正则化如何影响代价函数"这些概念从"看过"变成"用过"。这门课最大的价值从来不是那几张证书，而是你在调试过程中建立的直觉——看到代价下降变慢就大概知道是学习率太大还是特征尺度不同，看到梯度爆炸就自然想到要检查中间层的激活值范围，这种判断力只能靠手写代码喂出来。
如果你决定重写，我建议按这个节奏来：先挑ex2和ex3练手，等熟悉了scipy.optimize.minimize和NumPy的矩阵运算节奏，再去啃ex4的反向传播。ex4值得多花时间，因为它是整门课算法深度的天花板，从神经网络前向传播到反向传播、从梯度检查到参数展开，这一套流程走通之后，后续的课程（包括深度学习专项）里类似的代码模式你会一眼就认出来。
最后再分享一个小技巧：每道作业完成后，把你的Python输出和Matlab原版对应变量（比如theta、cost、accuracy）打印到同一个表里对比一遍，误差在1e-4级别就说明迁移正确。这一步相当于给你的重写过程上了一个自动判题器，能省下后期大量调试时间。这门课虽然老，但它的作业设计到今天依然是最好的机器学习动手训练材料之一，用Python把它完整啃下来，你的收获绝对物超所值。
本文还有配套的精品资源，点击获取
