简介：梯度下降法是机器学习和深度学习领域应用广泛的优化方法，原理简单且实用，其核心思想是沿当前点负梯度方向迭代更新参数，逐步逼近目标函数的局部最小值。这份MATLAB实现专门演示最速梯度下降法的完整流程，面向正在学习数值优化、或在课程设计中需要快速上手的读者，可帮助理解目标函数与梯度的定义、学习率设置、迭代更新以及收敛判定等关键环节。压缩包整体仅2KB，包含2个m文件，代码结构紧凑、注释清楚，便于直接运行和自行修改，是适合入门的轻量级练习模板。已有854人学习下载，说明该示例对初学者有较强的参考价值。结合自定义目标函数和梯度函数，以及循环中基于梯度范数的误差阈值判断，读者可直观观察参数如何随迭代逐步收敛；在此基础上，还可进一步尝试衰减学习率、Adagrad、RMSprop或Adam等更先进的优化策略，为后续深入学习打下基础。
1. 梯度下降法：收敛了是迭代，发散了是玄学
同样的数据、同样的初值，把学习率从 0.01 改成 0.1，损失曲线就从前 20 轮稳定收敛变成第 5 轮直接输出 NaN。这是梯度下降法在 MATLAB 里最常见的入门体验：迭代公式一行就能写完，真正跑起来却处处要对步长、梯度和停机条件下判断，任何一个环节松了，结果就从数值优化变成数值爆炸。
这篇文章不表演数学推导，而是按在 MATLAB 里手写优化器的真实顺序来：先讲负梯度方向在等高线图上的几何行为，再给一份能直接运行的梯度下降法实现，用 Rosenbrock 函数做实验对象，然后把学习率、动量、自适应步长、损失曲线和停机条件串起来。适合用 MATLAB 做课程实验、复现论文算法，或者搭深度学习对比脚本的人。
2. 梯度下降法的收敛几何：先搞懂“为什么是之字形”
2.1 负梯度方向只在无穷小步长下成立
对可微函数 f(x)，梯度 ∇f(x) 指向函数值增长最快的方向，因此沿负梯度方向前进就是局部最陡的下降方向。梯度下降法的迭代式可以写成：
x_{k+1} = x_k − α ∇f(x_k)
其中 α 是步长，习惯叫学习率。MATLAB 里实现这一行的成本极低，真正的麻烦在另外三件事：步长选多大、梯度函数怎么写、迭代在什么时候停。把这三件事先放下，考察一个更本质的问题：同一个算法，为什么在有的函数上一两步就到最优点，在有的函数上走了几百步还在绕圈。
2.2 条件数决定轨迹形态：圆和椭圆是两种命运
考虑二次型 f(x) = ½ xᵀ H x。当 H 是单位阵的倍数时，等高线是正圆，负梯度方向直接指向圆心；当 H 的特征值差异很大时，等高线被压成椭圆，负梯度方向与真正的下降方向存在夹角，迭代轨迹就在窄谷两侧来回折返。衡量这种差异的指标是 H 的最大与最小特征值之比，即条件数 cond(H)。这里给出一个直观的对照表：
| 条件数 | 等高线形状 | 固定步长下的迭代路径 | 典型收敛速度 |
|---|---|---|---|
| 1 | 圆 | 近似直线指向最优点 | 一到两步近似收敛 |
| 10 | 轻微椭圆 | 略有锯齿，总体向前 | 几十步量级 |
| 100 | 明显压扁 | 沿窄谷来回折返 | 上百步，步长稍大即发散 |
| 1000 以上 | 趋近一条窄线 | 锯齿严重，横向震荡加剧 | 固定步长几乎不可用 |
表格说明了一个反直觉的结论：梯度下降法表现好坏，不只看梯度大小，更看目标函数局部曲率在各个方向上的均匀程度。这也是为什么工程上很少直接拿朴素梯度下降跑到底，而是配动量、自适应步长或者干脆换拟牛顿法。
2.3 用 MATLAB 画轨迹验证这个直觉
只讲几何不画图，很难建立数值直觉。我一般会先在一个可调条件数的二次函数上做最小化实验，叠加等高线和迭代轨迹。下面是一个两变量示例，改一个常数 c 就能拉伸等高线的形状：
% 二次函数 f(x, y) = 0.5 * (x^2 + c * y^2) c = 20; % 条件数约为 c f = @(x) 0.5 * (x(1)^2 + c * x(2)^2); g = @(x) [x(1); c * x(2)]; % 解析梯度 x = [2; 1]; % 初始点 alpha = 0.05; % 固定步长 traj = zeros(2, 30); % 记录前 30 个迭代点 for k = 1:30 traj(:, k) = x; x = x - alpha * g(x); end [X, Y] = meshgrid(-2.5:0.1:2.5, -2.5:0.1:2.5); Z = 0.5 * (X.^2 + c * Y.^2); contour(X, Y, Z, 20); hold on; plot(traj(1,:), traj(2,:), 'r.-', 'MarkerSize', 10);这段代码先定义了函数句柄 f 和梯度句柄 g，再用 30 次循环完成固定步长迭代。meshgrid 生成网格点坐标，contour 绘制等高线，plot 把迭代轨迹叠加在原图上。把 c 依次改成 1、5、50，观察同一个脚本的运行结果就能直观看到轨迹从“直线下降”变成“之字形震荡”。
提示：contour 的第四个参数可以直接给层数向量，这样能控制等高线在低谷附近的密度，避免窄谷区域画出来糊成一片。
3. 在 MATLAB 里把梯度下降法写成最小可运行脚本
3.1 目标函数与解析梯度
几何直觉建立之后，换一个有挑战性的测试函数：Rosenbrock 函数。
f(x, y) = 100 (y − x²)² + (1 − x)²
它的最优点在 (1, 1)，函数值为 0，但通向最优点的山谷非常狭窄且弯曲。许多优化教材用它做试金石：理论上沿着谷底走很快，实际用固定步长梯度下降时，轨迹经常在山谷两侧来回弹跳。先写出目标函数和解析梯度：
% Rosenbrock 函数与梯度 f = @(x) 100 * (x(2) - x(1)^2)^2 + (1 - x(1))^2; g = @(x) [-400 * x(1) * (x(2) - x(1)^2) - 2 * (1 - x(1)); 200 * (x(2) - x(1)^2)];梯度是手工求偏导得到的：对 x(1) 求导时，先处理 100(y − x²)² 的链式导数，再加上 (1 − x)² 的导数；对 x(2) 求导则只涉及第一项。如果不想手算，可以用符号工具箱的 jacobian 推导后生成函数句柄，但小规模测试还是手写更快，也容易检查。
3.2 记录迭代历史的完整循环
不记录历史的梯度下降只适合看一眼最终结果。调试阶段强烈建议把每轮的 x 和 f(x) 存下来，后面画损失曲线和轨迹图都要用。下面是带历史记录的完整实现：
% 梯度下降主循环：Rosenbrock 最小化 x0 = [-1.2; 1]; % 标准初始点 alpha = 0.001; % 固定步长，先从小步长开始 maxIter = 2000; tol = 1e-6; x = x0; histX = zeros(2, maxIter + 1); histF = zeros(maxIter + 1, 1); histX(:, 1) = x; histF(1) = f(x); last = 1; for k = 1:maxIter x = x - alpha * g(x); % 核心更新 last = k + 1; histX(:, k + 1) = x; histF(k + 1) = f(x); if norm(g(x), inf) < tol % 梯度足够小，认为已收敛 break; end end histX = histX(:, 1:last); % 截掉未使用的预分配空间 histF = histF(1:last); fprintf('迭代 %d 次，f = %.6e，x = [%.4f, %.4f]\n', ... last - 1, histF(end), histX(1,end), histX(2,end));这段代码里三个细节值得注意。第一，用 histX 和 histF 预分配矩阵而不是每轮拼接，矩阵在 MATLAB 里按列写入，避免循环内数组不断扩充造成性能拖累。第二，norm(g(x), inf) 取梯度分量绝对值的最大值作为停机判据，比二范数更严格也更接近“最优点附近各方向都平稳”的直觉。第三，last 变量用来记录实际迭代轮数，循环结束后截断历史数组，方便后面画图。
3.3 三个核心参数的调整起点
| 参数 | 示例值 | 作用 | 调整方向 |
|---|---|---|---|
| alpha | 1e-3 | 每步沿负梯度移动的距离 | 太小收敛慢，太大会跳过谷底 |
| maxIter | 2000 | 迭代轮数上限 | 保护性设置，撞上限先怀疑步长偏小 |
| tol | 1e-6 | 梯度无穷范数停机阈值 | 教学实验 1e-6，生产任务常放宽到 1e-4 |
这里给出的是 Rosenbrock 场景下的保守起点。alpha 可以从 1e-3 开始，跑一次观察损失曲线：曲线平滑但下降太慢，适当增大；曲线出现明显毛刺或函数值反弹，说明步长已经偏大。maxIter 撞上限时先别急着加，优先怀疑步长设小了。
4. 学习率、动量法与自适应步长：MATLAB 调参的三板斧
4.1 固定学习率为什么容易卡在“要么慢要么炸”
固定步长在二次函数上表现尚可，换到 Rosenbrock 这类曲率复杂的问题就尴尬了。初始点附近梯度极大，alpha 稍大第一步就会把参数推出合理范围；迭代接近谷底时梯度又变小，同一个 alpha 推进缓慢。这就是固定学习率的死结：它把不同位置的步长绑死在一个值上。
处理办法不是“精调一个 alpha 碰运气”，而是让步长随迭代过程变化。常见做法有两种：按轮数衰减的调度，以及根据当前梯度局部信息动态调整的算法。先看最简单的衰减调度。
4.2 学习率衰减与动量法的 MATLAB 实现
动量法在标准梯度下降更新上增加了一个速度缓存 v，把历史梯度的指数加权平均值叠加到当前更新方向上。这里给出同时带学习率衰减和动量更新的循环：
% 学习率衰减 + 动量梯度下降 x = [-1.2; 1]; v = zeros(2, 1); % 速度缓存，维度与 x 一致 alpha0 = 5e-3; % 初始步长 decay = 0.5; % 学习率衰减速率 beta = 0.9; % 动量系数 tol = 1e-6; maxIter = 3000; for k = 1:maxIter alpha = alpha0 / (1 + decay * k); % 随迭代次数单调下降 gk = g(x); if norm(gk, inf) < tol break; end v = beta * v - alpha * gk; % 动量缓存累加 x = x + v; % 沿修正方向更新 end与传统写法的一个符号差别：这里速度缓存 v 的定义是“本次更新量”，所以位置更新写 x = x + v，而不是直接 x = x − alpha * gk。beta 取 0.9 时，历史梯度信息的半衰期约十轮，能有效过滤窄谷两侧的快速震荡；decay 控制步长缩小的速度，衰减太快会提前走不动，太慢又回到固定步长的老问题。
| 参数 | 常用范围 | 作用 |
|---|---|---|
| beta | 0.8 - 0.99 | 历史信息权重，越大越平缓，过大则更新滞后 |
| decay | 0.1 - 1.0 | 学习率衰减强度，与 maxIter 配合调整 |
| alpha0 | 1e-3 - 1e-2 | 初始学习率，可比固定步长取得稍大 |
4.3 用 Armijo 规则搜索步长：不靠手试
手调学习率总是低效的，尤其是目标函数尺度变化大时。数值优化里常用的是 Armijo 线搜索：从一个候选步长出发，不断缩小，直到函数值满足充分下降条件。
function [x, histF] = gd_armijo(f, g, x, maxIter, tol) c = 1e-4; % 充分下降常数，越小越容易接受大步长 rho = 0.5; % 步长衰减因子，通常取 0.5 左右 histF = zeros(maxIter + 1, 1); histF(1) = f(x); for k = 1:maxIter grad = g(x); if norm(grad, inf) < tol histF = histF(1:k+1); return; end alpha = 1; % 不满足充分下降条件就缩小步长 while f(x - alpha * grad) > f(x) - c * alpha * dot(grad, grad) alpha = alpha * rho; end x = x - alpha * grad; histF(k + 1) = f(x); end endArmijo 条件的含义是：函数值的实际下降量至少要达到 s 乘以步长与梯度模长平方的乘积，s = c * alpha * ‖∇f‖²。c 取 1e-4 是数值优化教材的惯例取值，太大要求过严、步长容易被过度缩小，太小则失去充分下降的意义。rho 决定回溯速度，取 0.5 是稳妥选项，取 0.3 更激进但可能错过合适步长。这个函数换掉主体里的固定 alpha 就能接入上一节的脚本，Rosenbrock 上通常能省掉大半迭代轮数。
5. 用 MATLAB 绘图排查梯度下降发散的三种方法
5.1 损失曲线用对数坐标，别用线性坐标
固定步长跑完一轮迭代后，第一件事是画损失曲线。MATLAB 里直接 plot(histF) 经常看不出谷底附近的收敛行为，因为线性坐标下后期的小幅下降被压缩成一条直线。换成 semilogy 对数纵轴，可以把几个量级的下降同时显示：
figure; semilogy(histF, 'b-', 'LineWidth', 1.5); grid on; xlabel('迭代轮数'); ylabel('f(x)');正常收敛的曲线应该是单调下降且斜率逐渐变缓。如果曲线出现上升段或震荡，直接定位到对应轮次，再结合该轮前后的 x 值判断是步长偏大还是梯度计算问题。semilogy 的另一个好处是能看出收敛阶段是否“卡平”，曲线平到不再下降时，要么梯度到达停机阈值，要么步长小到几乎不更新。
5.2 等高线轨迹图：几何问题一眼定位
损失曲线能暴露“发散了”，但看不清“往哪个方向发散”。轨迹图补上这部分信息。把每一轮的 x 坐标画在等高线图上，就能分辨之字形震荡、沿谷底推进和大步跳跃三种典型行为：
[X, Y] = meshgrid(-2:0.05:2, -1:0.05:3); Z = 100 * (Y - X.^2).^2 + (1 - X).^2; figure; contour(X, Y, Z, logspace(-2, 4, 30)); % 对数间隔的等高线 hold on; plot(histX(1,:), histX(2,:), 'r.-', 'MarkerSize', 8); xlabel('x'); ylabel('y');等高线层数用 logspace(-2, 4, 30) 生成，而不是等间距值，这样窄谷附近的低值区域也有等高线覆盖，不会被外层高值区域占满。轨迹连续密集说明步长偏小，锯齿密集说明条件数问题突出，单步跨越多条等高线则提示步长可能偏大。
| 观测现象 | 可能原因 | 优先处理 |
|---|---|---|
| 第一轮后 f 为 NaN 或 Inf | 步长太大或梯度有误 | 打印 g(x) 数值，把 alpha 缩小 10 倍 |
| 轨迹锯齿密集、进展慢 | 条件数大，步长偏小 | 换动量法或 Armijo 搜索 |
| 曲线先降后升 | 步长进入震荡区间 | 减小 alpha0，或加学习率衰减 |
| 损失曲线卡平不降 | 停机阈值太松或步长过小 | 放宽 tol，检查梯度范数变化 |
5.3 停机条件：别死等到 maxIter 耗尽
停机条件写的合不合理，直接决定程序是“收敛后立刻停下”还是“收敛后白跑一千轮”。梯度下降法常用的停机条件有三类：梯度无穷范数小于阈值、目标函数变化量小于阈值、x 的移动距离小于阈值。实践中最稳妥的是组合使用，并在日志里打印最后几轮的值：
for k = 1:maxIter xNew = x - alpha * g(x); if abs(f(xNew) - f(x)) < 1e-8 % 目标函数几乎不变 break; end if norm(xNew - x, inf) < 1e-8 % 位置几乎不动 break; end x = xNew; end单纯用梯度范数停机有个副作用：窄谷底部梯度分量可能很小，但离最优点还很远。位置和函数值变化量能补上这个盲区。建议三个条件同时监控，哪个先满足就停，同时把触发的条件名输出到命令行，方便判断这次收敛是“因为梯度小了”还是“因为步长推不动了”。
6. 先验证梯度再谈收敛：一个 6 行的有限差分检查函数
6.1 中心差分校验的 MATLAB 实现
手写梯度最容易出错，但错误往往藏到迭代后期才暴露。与其在几百轮循环里找 bug，不如在跑梯度下降之前先用有限差分检查一次解析梯度。中心差分公式是 (f(x + h·eᵢ) − f(x − h·eᵢ)) / (2h)，比前向差分精度高一个量级：
function err = check_gradient(f, grad, x, h) if nargin < 4 h = 1e-6; % 步长太小受舍入误差影响，太大则差分近似偏差大 end n = numel(x); gd = zeros(n, 1); for i = 1:n e = zeros(n, 1); e(i) = 1; gd(i) = (f(x + h*e) - f(x - h*e)) / (2*h); end err = norm(gd - grad(x), inf); end调用方式为 err = check_gradient(f, g, [-1.2; 1])，返回解析梯度与数值梯度的最大分量差。err 小于 1e-5 可以认为梯度实现正确；如果达到 1e-3 或更大，优先检查偏导公式和索引，而不是继续调学习率。h 的取值经验是 1e-6，对应双精度浮点下中心差分的精度上限。换成前向差分时 h=1e-7 通常效果接近，但中心差分更省心。
6.2 三个容易被误判的场景
把这条检查逻辑放到手写梯度下降的流程里，能省掉三段式的排错过程。第一个常见误判是“梯度符号反了”：有限差分误差此时接近两倍的梯度模长，检查一跑就现形。第二个是“梯度某个分量算错”：误差远大于其他分量，err 已经提示方向，配合打印 gd 与 grad 各分量能直接定位到第几个偏导出错。第三个更隐蔽，梯度公式本身对，但在边界点或约束投影处不可导，差分误差同样会飙升，这种情况要替换测试点而不是改公式。
Rosenbrock 这类测试函数在手写上可以直接用这个函数做回归：改代码、重调参数、换求解器之前，先跑一遍 check_gradient。验证梯度的成本是 O(n) 次目标函数求值，对比在错误梯度上跑几千轮迭代，这笔检查是绝对划算的。
本文还有配套的精品资源，点击获取
