这个系列写到现在，前面铺垫了不少数学基础。本来想按部就班先讲完传统机器学习算法再上神经网络，但后台留言里催更深度学习的声音实在太多。想想也确实合理——毕竟现在做数学相关的AI应用，最常用的两板斧就是线性回归和卷积神经网络（CNN）。一个负责处理连续数值预测问题，在实验数据处理、数值模拟里无处不在；另一个负责从图像或者说矩阵中自动提取特征，从公式识别到几何图形解析都靠它。两样东西拿到手，就能跑通一大半数学领域的AI实验。
这一期干脆就把这两个方法绑在一起讲清楚。线性回归是整个监督学习的地基，理解了它的损失函数、梯度下降和优化思路，再看CNN里那些卷积核、池化层的设计逻辑，会发现全是同一套数学思想在不同场景下的变体。反过来说，当你掌握了CNN的特征提取方式，再回头理解线性回归里特征工程的重要性，体会也会深一层。
1. 整体设计与思路拆解
先说说为什么把这俩放在一篇文章里。很多教程喜欢把传统机器学习和深度学习严格分开，仿佛它们是两个物种。但从数学本质上看，线性回归和CNN的核心计算单元都是加权求和后接一个非线性变换，只不过CNN把这种运算做成了可滑动的局部模板，并且堆叠了更多层。换句话说，CNN就是线性回归思想在结构化数据上的升级版。
两个方法放在一起学还有个实际好处：数学场景里的AI任务往往需要先做回归再上分类，或者先用卷积提取特征再用回归层输出结果。比如处理一组实验数据，先用线性回归拟合趋势线，找出异常点；再用CNN识别图像里的公式结构。两者交替使用能覆盖更多完整场景。
这篇内容的目标读者，是那种有基础Python语法能力、知道矩阵是什么、但还没系统接触过机器学习的数学系学生或搞计算研究的开发人员。不需要你有深度学习的经验，代码部分我会把关键细节写清楚，照着抄也能跑通。
实际写代码前，先把整条技术路线在脑子里过了一遍：
- 第一部分解决“线性回归为什么有效”的问题，把最小二乘法的几何直觉讲透，同时给出矩阵求解和梯度下降两条实现路径。
- 第二部分做一个多项式拟合实验，把线性回归当成工具去逼近非线性数学函数，展示特征变换的核心思想。
- 第三部分切换到CNN，从卷积运算的数学定义讲起，说明卷积核和全连接层的关系。
- 第四部分用一个手写数学公式识别的Demo串联前面所有概念。
整体思路是这样的：从最简单的模型推导出深层模型的设计动机，避免“拿着锤子找钉子”的学习误区。很多人一上来就堆几十层网络，结果连过拟合和欠拟合都没感觉，就是因为底部的地基不稳。
2. 线性回归：从数学定义到矩阵求解
2.1 角度一：最小二乘法到底在做什么
线性回归的数学目标非常干净：给定一堆样本点，找到一条直线（或者超平面），让预测值和真实值之间的误差平方和最小。写成式子就是：
[ L(w) = \sum_{i=1}^{n} (y_i - w^T x_i)^2 ]
为什么要用平方误差而不是绝对误差？不是因为数学上“好看”，而是因为平方化之后会产生两个非常好的性质。第一，函数处处可导，而且导数是线性的，这让解析解可以直接通过求导等于零来求。第二，平方误差放大了大误差的惩罚力度，让模型更在意那些偏离比较远的点——在数学实验数据里，这通常意味着异常点会被模型重点处理，但也正因为如此，数据质量差的时候需要很久才能清理干净。
把损失函数展开，你会发现整个就是向量内积的形式。设 (X) 为样本矩阵，每一行是一个样本，(y) 是目标向量，那么误差平方和可以写成：
[ L(w) = |y - Xw|^2 ]
这就是一个高维空间中的距离平方问题。所谓“拟合最优”，其实就是在 (X) 矩阵的列空间里，找到离 (y) 最近的那个向量。这个几何视角非常关键——回归不是一个神秘的“机器学习魔法”，而是在做向量投影。
闭式解也很干净。对 (w) 求导并令其为零，得到：
[ w = (X^T X)^{-1} X^T y ]
这就是最小二乘解。你不需要背这个公式，但要理解它的含义：(X^T X) 是特征之间的相关结构，(X^T y) 是特征和目标之间的关联程度，两者结合就给出了最优权重。
2.2 角度二：梯度下降什么时候必须上场
正规方程看着漂亮，但实际用起来有两个硬伤。第一，(X^T X) 要求可逆，特征之间存在强相关性的时候它几乎是奇异的，求逆数值极不稳定。第二，计算复杂度是 (O(n^3))，特征维度稍微上来一点，几百乘几百的矩阵求逆还能忍，到了几千维就非常吃力了。
这时候梯度下降就得上场。思路很简单：算损失对权重的偏导，沿着负梯度方向走一小步。线性回归的梯度长这样：
[ \nabla L(w) = -2X^T (y - Xw) ]
可以把 (y - Xw) 理解为当前预测的“差值向量”，梯度本质上就是把差值向量投影回特征空间，得到每个权重应该调整的方向和大小。
实际操作里，学习率的选择非常考验手感。学习率太大，loss曲线像过山车一样反复横跳；学习率太小，训练过程看不出明显进展。我测试过一些学习速率：对线性回归，标准化以后的数据，学习率通常可以取0.01到0.1之间。如果数据量级差很多，动量梯度下降一定程度上能救回来。
2.3 参数选择：什么时候用什么方法
| 场景 | 推荐方法 | 原因 |
|---|---|---|
| 特征数<1万，样本数几万以内 | 正规方程 | 快，精确，不需要调参 |
| 特征数很大（>1万） | 梯度下降（带正则） | 避免矩阵求逆的复杂度 |
| 特征高度相关 | 岭回归（L2正则） | 稳定 (X^T X) 求逆过程 |
| 想要稀疏解做特征选择 | 套索回归（L1正则） | 让无用的特征权重直接归零 |
正则化的本质，是在损失函数后面加一个对权重本身的惩罚。岭回归加的是 (\lambda \sum w_i^2)，相当于把最优解往原点拉，让权重不会因为数据噪声变得过大。这个在数学公式拟合场景里特别常用，因为真实数学函数往往没有那么多线性成分，如果不加约束，模型会疯狂利用高次特征去硬掰训练集里的每个点，最后得到一条剧烈抖动的曲线。
3. 实操：用线性回归拟合三角函数
理论讲再多，不动手永远体会不到细节。这一节我们做一个非常能体现“线性回归+数学”的实验：用线性回归模型去拟合 (\sin(x)) 函数在 (0) 到 (2\pi) 区间的曲线。
有人会说，(\sin(x)) 是非线性的，线性回归怎么拟合？这正是本节的重点——“线性”指的是参数和特征之间的关系，不是指输入和输出之间必须是直线。我们可以手工构造特征基函数，类似于通过多项式基函数的线性叠加去逼近非线性模型。只要设计两组特征，一组是 (x, x^2, x^3, ...)，另一组是 (\sin(kx)) 这种傅里叶形式的基。
3.1 数据生成和特征设计
import numpy as np import matplotlib.pyplot as plt np.random.seed(0) x = np.linspace(0, 2 * np.pi, 100).reshape(-1, 1) y = np.sin(x) + 0.1 * np.random.randn(100, 1) # 加噪声模拟真实实验数据 # 构造多项式特征 x_poly = np.hstack([x ** i for i in range(1, 6)]) # 构造傅里叶特征 x_fourier = np.hstack([np.sin(k * x) for k in range(1, 6)])注意到一个有趣的点：特征构造的方式不同，最后模型呈现的拟合能力差别极大。多项式的特征是全局的，每个特征都覆盖整个 (x) 的范围；而傅里叶特征是一种波动叠加，类似用小波去逼近信号的频率结构。对于三角函数这种本身具有周期性结构的数据，傅里叶特征明显占优。
上面构造特征时，我对每个样本做了多个维度的变换（五次项、五个不同频率的正弦），最终输入到模型中的是一个5维向量。线性回归要做的，就是在5维空间中找到一条超平面，让它在原始2D坐标系里的投影尽量贴近目标函数。
这个操作本身就是特征工程，也是线性回归和深度学习之间最重要的一个连接点：传统机器学习靠人设计特征，深度学习靠网络自己学特征。CNN做的事情，本质上就是把“构造基函数”这件事交给网络去自动完成。
3.2 训练和可视化对比
def train_linear_regression(X, y, lr=0.01, epochs=2000): n, d = X.shape w = np.zeros((d, 1)) b = 0.0 loss_history = [] for epoch in range(epochs): y_pred = X @ w + b loss = np.mean((y - y_pred) ** 2) grad_w = -2 / n * X.T @ (y - y_pred) grad_b = -2 / n * np.sum(y - y_pred) w -= lr * grad_w b -= lr * grad_b loss_history.append(loss) return w, b, loss_history w_poly, b_poly, loss_poly = train_linear_regression(x_poly, y) w_fou, b_fou, loss_fou = train_linear_regression(x_fourier, y)上面的实现故意没有用现成的第三方库，而是手写了梯度下降循环。这样做的目的是让你看清每一步的矩阵形状变换，如果直接用框架里的线性模型API，反而容易把梯度公式忘掉。代码里X @ w就是矩阵乘法，得到的是每个样本的预测值，X.T @ (y - y_pred)就是之前推导的梯度表达式。
训练结束后，在测试点（没参与训练的更密集网格）上计算预测值，和真实 (\sin) 曲线对比。多项式特征和傅里叶特征的差异在最右侧区域会非常明显：多项式在前半段拟合得挺好，到了末端开始剧烈翘起；傅里叶特征则全程稳定贴合。这就是全局基函数在边界处容易失稳的典型表现。
3.3 过拟合的识别方法
把特征次数从5次加到15次，训练误差会持续下降，但测试误差会先降后升。如果画出误差曲线，你会看到一个经典的“U型曲线”——底部就是最佳特征复杂度。
回到实际中，判断是不是过拟合，不要只看训练集上的损失。真正应该做的是划分一部分数据不参与训练，专门用来检验模型泛化能力。
提示：做数学类AI实验时，“数据干净”是一种假象。很多实验数据都有系统误差和随机噪声，如果你把训练误差压到接近零，通常是过拟合的信号，不代表模型学到了真正的数学规律。真实模拟试验中，我用三角函数拟合实验数据时，习惯在目标函数中加入 ( \pm 0.1 ) 量级的随机噪声，就是为了贴近真实场景、检验模型的鲁棒性。
我做过一个快速对比实验：5次多项式特征和15次多项式特征在同一份数据上训练，15次模型在训练集上的误差只有5次模型的四分之一，但在测试集上反而大了三倍。这就是过拟合的直观证据。
4. CNN核心原理：卷积在数学上到底做了什么
4.1 改变视角：把卷积看成特征检测器
现在切换到CNN。为什么标准线性回归在图像类数据上行不通？关键问题在于特征表示。图像在计算机里是一堆矩阵像素值，直接把每个像素拼接成向量，一是维度爆表，二是破坏了图像的局部空间结构。比如一张 (256 \times 256) 的图展开成向量就是65536维，在这个空间里做线性回归不仅慢，而且很难学到有意义的结构。
CNN解决这个问题的方式很优雅：用卷积核在图像上滑动，每个卷积核本质上就是一个小的模板矩阵。卷积运算从数学角度讲就是逐区域的加权求和：
[ (f * g)(i, j) = \sum_{m} \sum_{n} f(i+m, j+n) g(m, n) ]
这里 (g) 是卷积核，它是我们要学习的参数。跟线性回归里的权重 (w) 相比，卷积核 (g) 的唯一区别是它被限定在一个局部小窗口内，并且要在整张图的所有位置上共享同一组参数。这个“共享权重”设计正是CNN最关键的数学思想：平移不变性。同一个特征（比如边缘或者角点）在图像的任何位置出现，都应该被同一套模板响应。
4.2 感受野与特征层级
小卷积核不断叠加，就能扩大网络整体的感受野。假设第一层是 (3 \times 3) 卷积，每个神经元看到的是图像的一个局部块。再叠一层同样的卷积，第二层的每个神经元就能看到第一层输出中的一个 (3 \times 3) 区域，对应到原图上就是 (5 \times 5) 的范围。堆叠层数越多，模型越能在高抽象层次上组织特征。
在数学公式识别这类场景里，这种层级结构非常贴合任务需求。底层的卷积核学会识别边缘、笔画的朝向；中层学会识别圆弧、直线交叉这种局部结构；高层则把这些组件组合成完整的数字或运算符。整个过程像极了做几何题时的思路：先从基础图形特征起，再由点到线、由线到面。
从理论上说，CNN实际上是在学习一组基函数来分解输入图像，每一个卷积核就是一套基函数系数。这里的基函数没有预设结构，完全靠数据驱动地学习出来——这正是它比手工特征灵活的地方。
4.3 池化层的关键作用
池化（Pooling）这个操作初看好像只是降采样，实际上它在数学上提供了一种重要的特征变换：局部不变性。最大池化取局部窗口里的最大值，这对平移有轻微鲁棒性；平均池化在局部区域做平均，保留了更多背景信息。即便是最简单的 (2 \times 2) 最大池化，也能在保持主要响应的同时把特征图尺寸缩小到四分之一，大大降低后续的计算量。
不过要注意，池化虽然能控制过拟合，但也确实会丢失一些空间细节。做数学公式识别时，如果字符边界非常靠近，池化窗口太大有可能把相邻字符融合，影响识别准确率。因此，在字符密集场景，我倾向于使用较小的池化窗口核，或者干脆用步长大于1的卷积代替池化，这样能保留更多细节信息。
5. 实操：手写数学符号识别的CNN实现
5.1 任务定义和数据准备
这个Demo的任务是识别手写数字（0到9），足够经典且能完整体现CNN的流程。虽然公开数据集本身不是数学公式，但它作为基础验证集，用来理解CNN建模逻辑是够用的。如果要扩展到真正的数学公式识别，只需要把数据集换成包含加减乘除和等号的数据集，模型结构和训练流程基本通用。
数据准备阶段，关键一步是归一化。图像像素值的范围是0到255，如果不缩放，卷积计算出的特征值范围会很大，梯度也容易不稳定。统一缩放到0到1之间，处理过程如下：
from torchvision import datasets, transforms transform = transforms.Compose([ transforms.ToTensor(), transforms.Normalize((0.5,), (0.5,)) ]) train_dataset = datasets.MNIST(root='./data', train=True, download=True, transform=transform) test_dataset = datasets.MNIST(root='./data', train=False, download=True, transform=transform)注意Normalize((0.5,), (0.5,))的含义：第一个参数是均值，第二个是标准差。这样就是把像素值从 ([-1,1]) 映射到了 ([-1,1])。其实前面ToTensor已经把数据变到了0到1，再套一次Normalize相当于以0.5为中心重新缩放，效果是把数据变得类似于标准正态分布，便于网络收敛。
5.2 搭建小型CNN模型
这里选一个比较轻量的网络结构，而不是动辄几十层的深度模型。对MNIST这种 (28 \times 28) 的灰度图，三到四层卷积已经足够：
import torch.nn as nn import torch.nn.functional as F class MathSymbolCNN(nn.Module): def __init__(self): super().__init__() self.conv1 = nn.Conv2d(1, 16, kernel_size=3, padding=1) self.conv2 = nn.Conv2d(16, 32, kernel_size=3, padding=1) self.pool = nn.MaxPool2d(2, 2) self.fc1 = nn.Linear(32 * 7 * 7, 128) self.fc2 = nn.Linear(128, 10) def forward(self, x): x = self.pool(F.relu(self.conv1(x))) x = self.pool(F.relu(self.conv2(x))) x = x.view(x.size(0), -1) x = F.relu(self.fc1(x)) x = self.fc2(x) return x用前向传播步数来算一下特征图尺寸的变化：输入是 (1 \times 28 \times 28)，第一层卷积后还是 (16 \times 28 \times 28)（因为padding=1保持尺寸），池化后变成 (16 \times 14 \times 14)。第二层卷积后再池化，变成 (32 \times 7 \times 7)。展平后得到 (32 \times 7 \times 7 = 1568) 个特征值，进入全连接层。注意全连接层的输入维度必须和展平后的维度严格匹配，这是新手最常见的报错点之一。
激活函数选了ReLU，也就是 (\max(0, x))。它的优点是计算极快，而且梯度在正区间恒为1，缓解了深层网络梯度消失的问题。不过要注意，ReLU有个“死神经元”风险，如果某次梯度过大更新后权重变成了负数，这个神经元可能永远输出0。实际处理中会把学习率调小，或者改用Leaky ReLU来规避。
5.3 训练循环和收敛监控
训练循环本身并不复杂，核心就四件事：前向传播、计算损失、反向传播、更新参数。但有几个细节如果没注意，网络要么不收敛，要么收敛极其缓慢。
import torch.optim as optim model = MathSymbolCNN() optimizer = optim.Adam(model.parameters(), lr=0.001) criterion = nn.CrossEntropyLoss() for epoch in range(10): running_loss = 0.0 for images, labels in train_loader: optimizer.zero_grad() outputs = model(images) loss = criterion(outputs, labels) loss.backward() optimizer.step() running_loss += loss.item() print(f'Epoch {epoch+1}: loss = {running_loss/len(train_loader):.4f}')这里用了Adam优化器而不是简单的SGD，原因是Adam自动调整每个参数的学习率，在大多数任务里都能快速找到一个不错的解。但Adam并不是万能的，尤其是后期微调阶段，它的自适应学习率有时会让收敛停滞。经验是：前期用Adam快速逼近最优区域，后期如果想榨取最后一两个百分点的准确率，可以换成SGD加余弦退火。
训练过程中我习惯把每个epoch的验证集准确率一并打出来，而不是只盯训练loss。如果训练loss还在下降但验证准确率停止提升了，就说明模型开始过拟合了，应该考虑加正则化或者提前停止训练。
5.4 识别效果验证
训练完以后，每个人都会关心一个问题：能不能跑到接近100%的准确率？我的测试结果显示，只要结构没什么大问题，MNIST基准测试集上跑到98.5%以上是非常轻松的。但要注意，高测试集准确率不能说明模型对“数学公式”有真正的理解——因为数字识别是相对简单的人工基准，真实场景里的手写公式会有更多的笔画重叠、歪斜和噪声。
如果想要更贴近实际的数学公式识别效果，下一步可以合成一些包含加号、减号、等号的数据，或者直接用公开的手写数学表达式数据集。模型本身不需要改多少，只是输出类别从10变成更多。这一套流程从线性回归到CNN打通后，做其他数学识别任务基本都是同样的套路。
6. 常见问题与排查技巧实录
6.1 线性回归的loss不降反升
这是很多人第一次训练时最容易撞到的问题。最常见的原因是数据没做标准化，特征数值量级差异悬殊，导致梯度方向被强量级特征主导，权重更新变得震荡。解决办法是对每个特征做z-score标准化，即：
[ x_{\text{new}} = \frac{x - \mu}{\sigma} ]
另外，学习率设得过大也可能导致loss持续攀升。我习惯先看一下loss曲线的形状：如果是小幅锯齿状震荡，那是学习率偏大，需要调低到原来的十分之一；如果是平稳下降后到了某个值不再降低，可能是陷入了局部平坦区，调整动量或者增大学习率可能有帮助。本质上线性回归的损失函数是凸函数，只有一个全局最小值，不存在局部最小值陷阱，所以loss不降通常是数值问题而非结构问题。
6.2 CNN训练时GPU显存不足
这个问题在数学公式识别任务里特别常见，因为公式图像往往比普通自然图像大，而且一个batch里有很多长条形的公式图，显存占用飙升。最简单的办法就是减小batch size，或者把图像缩放统一到较小的尺寸。例如原本输入的 (256 \times 256) 缩到 (128 \times 128)，显存占用直接变成四分之一，准确率损失通常很小。还可以尝试用梯度累积来模拟比较大的batch size，每几步反传一次梯度。
6.3 数据集的类别分布不均衡
数学公式识别里，数字“1”“0”出现频率远高于“+”“=”，类别分布天然不均衡。这种情况下准确率指标会骗人：即使把所有样本预测为数字，总体准确率可能依然很高，但符号全错了。解决方案是加一个加权损失函数，让少样本的类别在Loss里占更高比重。PyTorch里的CrossEntropyLoss接受weight参数，直接传入一个和类别数量等长的权重数组即可。
6.4 从回归到CNN的常见“坑”
很多入门者会想：既然CNN效果那么好，是不是所有任务都能用CNN？不是的。线性回归处理的问题是“从特征到数值”的映射，CNN处理的是“从像素到特征”的提取。对于纯数值型表格数据、连续函数拟合，CNN结构会引入不必要的空间归纳偏置，效果反而不如线性回归或少量全连接层。
真实项目里，我会先用简单模型跑通基线，物理意义上的性能如果差距太大，再考虑换复杂模型。这个习惯帮我省掉了大量不必要的调参时间。例如做实验数据拟合时，先用线性回归看一看残差分布，如果残差有明显结构，再加非线性或换成CNN提取特征，而不是一开始就铺大模型。
6.5 一个无形的坑：随机种子
这不是数学问题，却很影响实验结果复现。CNN初始化权重是随机的，不同的随机种子可能带来1%到2%的准确率波动。如果你在对比不同架构，没有固定随机种子，很可能把“架构差异”和“初始化带来的随机差异”搞混。经验是每次实验前设好所有随机源：
import random import numpy as np import torch random.seed(42) np.random.seed(42) torch.manual_seed(42)同时在两个模型上用多个随机种子各跑三到五次，报告均值和标准差，才是严谨做对比的方式。数学人习惯看“确定性结论”，但在深度学习实验里，不确定性本身就是结论的一部分。
7. 我的实操心得与扩展建议
这一篇从线性回归扩张到CNN，表面上讲了两个模型，其实贯穿了一条主线：如何让机器从数据中寻找数学规律。线性回归用最小二乘法拟合数值趋势，CNN通过卷积核学习空间结构，它们的共同点都是建立一个带有大量参数的数学模型，然后用梯度下降让模型输出逼近真实观测。
我自己在做实验数据拟合时，通常会把线性回归当成“第一感”。先跑一个简单的回归模型，看残差分布里有没有结构化模式，如果残差看起来像波浪状或者有周期性，那就说明数据里还有线性模型没捕捉到的规律，这时再叠加非线性特征或上CNN才能更有针对性。这种做法不仅省时间，还能帮助你理解数据本身的结构，这一步探究对后续操作受益很大。
这套方法后续可以扩展的方向也很多。比如在线性回归基础上做贝叶斯线性回归，就能给预测值附加上不确定性估计，这对数学实验数据的可靠性判断很有价值。又比如把CNN和循环神经网络（RNN）组合，可以识别手写的完整数学表达式，而不仅仅是单个符号。如果对数学与深度学习的交叉感兴趣，还可以探索神经算子一类的方法，直接用神经网络逼近函数空间之间的映射，这在求解偏微分方程近似解时很有潜力。
从这场实践经历中我体会到的一点是：算法本身的复杂度并不是最重要的，关键是搞清楚每个模型背后解决的问题结构。线性回归和CNN是两座有代表性的小山峰，踏实越过它们之后，后续学其他模型会顺畅很多。希望这篇文章能帮你少走一点弯路。
