1. 为什么入门人工智能，先啃全连接神经网络这块硬骨头
这两年经常有人问我，人工智能学习路径到底该怎么规划，为什么网上的教程一上来就扔出一堆“神经网络”“深度学习”的名词，感觉自己数学还没准备好，就已经被劝退了。我的回答一直很统一：别贪多，别一上来就追大模型、追Transformer，先把全连接神经网络吃透，后面所有东西都会顺很多。
全连接神经网络（Fully Connected Neural Network，也叫多层感知机，MLP）是整个人工智能深度学习体系的基石。你现在看到的图像识别、语音识别、自然语言处理，甚至ChatGPT这类大语言模型，本质上都是在全连接神经网络的基本思想上长出来的。你可以把它理解成乐高的基础砖块——后面的卷积神经网络（CNN）、循环神经网络（RNN）、Transformer，都是在这个砖块上不断改结构、加机制。连砖块怎么拼都没搞明白，直接去搭城堡，崩塌只是时间问题。
这篇文章我打算把自己带新手时反复讲的内容整理出来，从原理到代码，再到调参踩坑，尽可能说人话，避免那种教科书式的长篇大论。适合正在入门人工智能的学生、做人工智能大作业或毕业设计的人、想转行AI的工程师，以及任何被“神经网络”四个字吓住但又想搞懂它的人。
2. 全连接神经网络到底在做什么：一个拿“打分”来理解的故事
2.1 从生物神经元到人工神经元：万事万物的“加权投票”
全连接神经网络的概念最早是受生物神经系统启发的。生物神经元接收来自其他神经元的信号，当信号累积超过某个阈值，这个神经元就被激活，继续向下传递信号。人工神经元干的事，本质上是同一件事，只不过做得更数学化、更机械。
一个人工神经元接收多个输入，每个输入乘上一个权重（weight），加上一个偏置（bias），然后丢进一个激活函数里，得到一个输出。如果用公式表达就是 y = f(w1x1 + w2x2 + ... + wn*xn + b)。这里的权重代表“这个输入有多重要”，偏置代表“这个神经元有多容易兴奋”。
我用一个生活化的例子来解释。假设你现在要判断一杯奶茶好不好喝，你可能会看三个指标：甜度、茶味浓度、奶香程度。你的大脑其实就是一个神经网络，每个指标都有一个权重，比如你很讨厌甜腻的奶茶，那甜度的权重就是负的；你很看重茶味，那茶味的权重就是正的。三者加权求和后，超过你心里的阈值，你就给出“好喝”的结论；没超过，就是“不好喝”。权重和偏置就是你对这些指标的偏好参数。
全连接神经网络的训练过程，用一句话说就是：不断调整这些权重和偏置，让网络输出的结果逼近真实答案。这个思想贯穿整个深度学习，无论是识别猫狗图片、翻译文本还是玩围棋，都是在干同一件事——找出一组好的“偏好参数”。
2.2 网络结构：输入层、隐藏层、输出层各司其职
一个标准的全连接神经网络由三层组成：输入层、隐藏层、输出层。所谓“全连接”，意思是每一层的每个神经元，都和上一层的所有神经元相连。这也是它“参数多、计算量大”的根源。
输入层负责接收原始特征。如果是判断一张图片是不是猫，输入就是图片的像素值，比如一张 64x64 的灰度图，展开后就有 4096 个输入节点。如果是预测房价，输入可能就是面积、房龄、地段评分等特征值。隐藏层则是网络的“思考层”，它把输入特征进行组合、变换，提取出更高层次的抽象信息。第一层隐藏层可能只知道“边缘”，第二层可能知道“纹理”，到更深层可能就学会“眼睛”“耳朵”这些高维概念了。输出层给出最终结果，分类任务就是一个概率分布，回归任务就是一个实数值。
为什么中间要加隐藏层？这是新手最容易困惑的点。一个没有隐藏层的网络，本质上只能做线性分类，就好比你只能用一条直线把数据分开。但现实中的数据往往是线性不可分的——比如判断一张图片里有没有猫，你没法画一条直线简单分开。隐藏层的作用，就是通过多次非线性变换，把原始数据映射到一个“更容易线性分开”的空间。理论上已经证明，只要隐藏层神经元足够多，一个单隐藏层的网络就能逼近任意连续函数。当然实际应用中，深度比宽度更高效，这也是现代深度学习普遍“深”的原因。
2.3 为什么叫“全连接”：一个形象的“传话”游戏
你可以把全连接神经网络想象成一场“信息层层传话”的游戏。你站在一排人最前面，手里拿着一堆消息（输入特征），每个人都会把听到的话按照自己的理解加工一下，再传给下一个人（激活函数带来的非线性变换），最后一个人把听到的信息综合后给出结论（输出）。
“全连接”体现在：上一排的每个人都把话传给了下一排的每一个人，没有人被遗漏。这种设计的优势是信息传递无损——任何两个神经元之间都有可能建立关联。缺点是参数爆炸，比如输入1000个特征，第一层隐藏层有500个神经元，那光是这一层就有 1000*500 = 50万个权重参数，还没算偏置。这也是为什么在处理图片这类高维数据时，人们会改用卷积神经网络，用局部连接来减少参数量；在处理序列数据时，会用循环神经网络来建模时间关联。
搞清楚这个背景很重要，因为它能让你理解一个关键点：全连接网络不是过时的技术，它在中小规模数据集、表格类数据、多特征融合场景中，依然是性价比最高的选择。很多人工智能大作业和入门项目，用它就完全够用。
3. 核心原理拆解：训练一个网络到底在更新什么
3.1 前向传播：让数据在网络中走一遍
前向传播（Forward Propagation）就是你给网络一个输入，它经过每一层的加权求和、偏置叠加、激活函数变换，最终算出输出的过程。这个过程没有什么神秘的，就是按照网络结构一层一层算下去，本质是一系列的矩阵乘法加非线性变换。
这里有必要强调一下矩阵化的思维。在实际代码中，你不会写一个循环去遍历每个神经元，而是用矩阵乘法一次性完成一层所有神经元的计算。输入是一批样本组成的矩阵，形状是[batch_size, input_dim]，权重矩阵的形状是[input_dim, hidden_dim]，两者相乘得到[batch_size, hidden_dim]，再广播加上偏置，经过激活函数，就得到这一层的输出。用矩阵而不是循环，不仅代码更简洁，而且能充分利用GPU的并行计算能力，训练速度能快上成百上千倍。
用PyTorch写一个两层网络的前向传播，非常直观：
import torch import torch.nn as nn class TwoLayerMLP(nn.Module): def __init__(self, input_dim, hidden_dim, output_dim): super().__init__() self.fc1 = nn.Linear(input_dim, hidden_dim) self.relu = nn.ReLU() self.fc2 = nn.Linear(hidden_dim, output_dim) def forward(self, x): x = self.fc1(x) x = self.relu(x) x = self.fc2(x) return xnn.Linear就是全连接层的实现，内部自动初始化权重和偏置，前向传播时做线性变换。ReLU是激活函数，作用是给网络引入非线性。没有激活函数的话，不管叠加多少层，数学上都能化简成一个线性变换，那“深”就完全失去意义了。
3.2 损失函数：告诉网络“你错得有多离谱”
前向传播算出的结果总归有对有错，损失函数（Loss Function）就是量化这个“错的程度”的函数。对分类任务，最常用的是交叉熵损失（CrossEntropyLoss）；对回归任务，最常用的是均方误差（MSE）。
交叉熵损失需要多说两句，因为很多初学者会被它的名字吓到。其实它的思想很朴素：真实标签是猫，网络输出是“有80%概率是狗”，那损失就非常大；网络输出是“有90%概率是猫”，损失就非常小。它衡量的是两个概率分布的差异，差异越小，损失越小。PyTorch里nn.CrossEntropyLoss会自动把网络的原始输出（logits）转成概率再算损失，所以你在最后一层不需要手动加Softmax激活函数，直接输出每个类别的得分就行，这一点新人特别容易搞错，在最后一个全连接层后多加一层Softmax，反而导致训练时梯度不稳定。
均方误差也很好理解，就是预测值和真实值差的平方的平均值。比如预测房价300万，真实房价280万，差的平方就是400万，再除以样本数取平均。平方的好处是惩罚大误差，误差越大扣分越狠。
损失函数是整个训练过程的“裁判”，网络所有参数的更新方向，最终都服务于一个目标——让损失函数值尽可能小。
3.3 反向传播与梯度下降：训练的核心引擎
这是全连接神经网络里最重要、也最让新手头疼的部分，我尽量用最直觉的方式讲清楚。
我们先从梯度下降（Gradient Descent）说起。损失函数是一个关于所有权重和偏置的多元函数，我们的目标就是找到一组参数，让这个函数的值最小。如果把这个函数想象成一片山谷地形，参数是坐标，损失是海拔，那么从任意位置出发，怎么最快走到谷底？答案是：沿负梯度方向走。梯度指向的是海拔上升最快的方向，负梯度自然是下降最快的方向。每次走一小步，然后重新计算梯度，再走一小步，直到收敛。这个“步长”就是学习率（Learning Rate）。
那梯度怎么算出来？这就是反向传播（Backpropagation）干的事。前向传播是数据从输入层流向输出层，反向传播则是误差从输出层流向输入层，用链式法则逐层计算损失函数对每个参数的偏导数。链式法则也不难理解：y = f(g(x))，那么 dy/dx = f'(g(x)) * g'(x)，误差从后往前一层层“传”回去，每一层都知道“上层传过来的误差有多大，我应该承担多少责任”。
新手在调代码时可能感觉不到反向传播的存在，因为PyTorch这类框架里，一行loss.backward()就自动算完所有梯度，再一行optimizer.step()就更新参数了。但理解这个过程的意义在于：你以后遇到训练不收敛、梯度消失、梯度爆炸这些问题时，才能真正下手去排查。比如网络很深的场景下，梯度经过多层连乘后，如果激活函数的导数小于1，梯度就会指数级缩小，导致前面层的权重几乎不动，这就是梯度消失。你只有知道反向传播是连乘结构，才能明白为什么会出现这种问题。
3.4 激活函数选型：Sigmoid、Tanh和ReLU之间的取舍
激活函数是神经网络非线性能力的来源，选择不当会导致训练效率低下甚至根本训不动，必须慎重。
Sigmoid函数把任意实数映射到0到1之间，公式和图像都是经典S形。早期神经网络非常依赖它，但它有两个致命缺点：一是输出均值不是0，导致后一层神经元接收的输入总是正的，这会让梯度更新呈现“锯齿状”；二是当输入绝对值较大时，梯度趋近于0，这就是“神经元饱和”。一旦某个神经元饱和了，它的梯度几乎为0，反向传播时误差传不过去，这个神经元的参数就无法继续更新，等于废掉了。
Tanh函数虽然在0附近变化更陡、输出均值接近0，比Sigmoid好很多，但当输入绝对值较大时，它同样会饱和，梯度消失问题依然存在。所以在现代深度网络中，这两个函数基本只出现在输出层做概率变换，或者用在一些特殊结构（如LSTM的门控）里。
目前隐藏层的默认选择是ReLU：max(0, x)。计算简单，导数在正区间恒等于1，能有效缓解梯度消失，而且会让一部分神经元输出精确为0，实现稀疏激活，计算效率高。当然ReLU也有自己的毛病——Dead ReLU问题，如果一个神经元的输入在训练中一直小于0，它的梯度永远是0，之后就再也无法激活了。实践中常用小学习率、合适的权重初始化，或改用LeakyReLU（负区间保留一个小斜率，比如0.01）来规避。
总结来说：默认隐藏层用ReLU；如果ReLU导致大量神经元死亡，考虑LeakyReLU；输出层按任务定，二分类用Sigmoid，多分类用Softmax，回归用恒等映射（不加激活）。
4. 动手实战：用PyTorch从零训练一个全连接神经网络
4.1 环境搭建与数据集选择
建议直接用PyTorch搭环境，因为它对新手最友好：pip install torch torchvision就能装好CPU版，Windows和Mac都能跑。有NVIDIA显卡的话装CUDA版，训练会快很多。不过说实话，本文的实战项目用CPU也完全够用，不必在环境上卡太久。
数据集选MNIST——手写数字识别，这是深度学习领域的“Hello World”。60万张28x28的灰度图，标签是0到9的数字，任务是根据像素点判断图片上是哪个数字。选它的原因很简单：数据小（单张图784个像素），下载方便（torchvision一行会自动下载），训练快（CPU跑几分钟就能收敛），可视化直观（可以把预测结果画出来检查）。不管你是做人工智能导论的大作业，还是想快速体验全连接神经网络，它都是最优的起点。
如果你实在不想用MNIST，还有几个非常经典的替代选择。Fashion-MNIST是服装图片分类，难度稍高一点，但结构完全一样，可以用来检验网络泛化能力；CIFAR-10是彩色小图片分类，由于是彩色图，输入维度变成 32x32x3，更适合练手有挑战性的场景。新手阶段先用MNIST跑通流程，再换数据体会差异，学习效率会很高。
4.2 完整代码逐段拆解：从数据加载到训练闭环
下面这段代码是我实践后认为最简洁且不容易出错的版本，完整实现了“数据加载、模型构建、训练、评估”整个闭环。我把它贴出来，逐段说明关键点：
import torch import torch.nn as nn import torch.optim as optim from torchvision import datasets, transforms from torch.utils.data import DataLoader # 1. 数据处理：转为张量并归一化 transform = transforms.Compose([ transforms.ToTensor(), transforms.Normalize((0.1307,), (0.3081,)) ]) train_dataset = datasets.MNIST(root='./data', train=True, download=True, transform=transform) test_dataset = datasets.MNIST(root='./data', train=False, download=True, transform=transform) train_loader = DataLoader(train_dataset, batch_size=64, shuffle=True) test_loader = DataLoader(test_dataset, batch_size=64, shuffle=False) # 2. 定义网络结构 class MNISTMLP(nn.Module): def __init__(self): super().__init__() self.fc1 = nn.Linear(28 * 28, 256) self.fc2 = nn.Linear(256, 128) self.fc3 = nn.Linear(128, 10) self.relu = nn.ReLU() def forward(self, x): x = x.view(x.size(0), -1) # 把28x28拉平成784维 x = self.relu(self.fc1(x)) x = self.relu(self.fc2(x)) x = self.fc3(x) return x model = MNISTMLP() # 3. 损失函数和优化器 criterion = nn.CrossEntropyLoss() optimizer = optim.Adam(model.parameters(), lr=0.001) # 4. 训练循环 def train(epoch): model.train() total_loss = 0 for batch_idx, (data, target) in enumerate(train_loader): optimizer.zero_grad() output = model(data) loss = criterion(output, target) loss.backward() optimizer.step() total_loss += loss.item() if batch_idx % 400 == 0: print(f'Epoch {epoch}, Batch {batch_idx}, Loss: {loss.item():.4f}') print(f'Epoch {epoch} 平均损失: {total_loss / len(train_loader):.4f}') # 5. 评估函数 def evaluate(): model.eval() correct = 0 total = 0 with torch.no_grad(): for data, target in test_loader: output = model(data) _, predicted = torch.max(output.data, 1) total += target.size(0) correct += (predicted == target).sum().item() print(f'测试集准确率: {100.0 * correct / total:.2f}%') if __name__ == '__main__': for epoch in range(1, 6): train(epoch) evaluate()几个必须注意的操作细节：
optimizer.zero_grad()每次训练前必须调用，否则梯度会累加。PyTorch默认是累积梯度的，如果不清零，上一步的梯度会和当前步骤的梯度叠加在一起。这个设计是为了方便某些特殊场景手动控制梯度，但对常规训练来说，忘掉清零是最常见的“损失不降反升”的原因之一。
model.train()和model.eval()切换也很重要。虽然当前网络里没有Dropout和BatchNorm这些受模式影响的层，但在完整项目中必须养成习惯。训练模式下Dropout随机失活，BatchNorm更新统计量；评估模式下这些行为都要关闭。忘了切回eval模式，用Dropout层时会发现每次预测结果都不一样，排查半天还找不到原因。
torch.no_grad()是评估时必须使用的上下文管理器。它告诉PyTorch“这块不需要计算梯度”，于是不会构建计算图，既省内存又能加速推理。如果不加，测试时每张图也会保存中间变量，内存很容易爆。
4.3 训练结果怎么看：准确率和损失的解读
我实际跑这个代码（CPU环境），用了5个epoch，最终测试集准确率大约稳定在97%到98%之间。
整个训练过程中，损失曲线呈现一个很有规律的变化：第一个epoch的损失下降最快，从初始的2.3左右直接掉到0.3附近；第二个epoch开始下降放缓；到第三、四个epoch基本平稳，最后停在0.1左右。对应地，测试准确率从第一轮的90%出头，快速爬升到97%，之后趋于平缓。
这种“先快后慢”的曲线是正常的。初始阶段网络权重接近随机，离最优解很远，梯度方向正确时收益特别大；越靠近最优解，梯度越小，改善空间越窄。如果损失在训练集上继续下降，但测试准确率开始回落，那就要警惕过拟合了。
动手做实验时，我强烈建议你多改几个参数对比一下效果。把隐藏层神经元从256改成512，训练时间变长，准确率可能只提升0.2个百分点；把学习率从0.001改成0.1，损失会直接发散到NaN；把网络加深到五层但激活函数全用Sigmoid，你会发现准确率反而不如这个三层ReLU网络。这些对比实验比单纯跑通代码有价值得多，也是理解神经网络行为的最佳途径。
5. 训练翻车现场：损失不降、过拟合、梯度爆炸的排查手册
5.1 损失不降反升的第一时间排查清单
训练过程中最让人崩溃的事，就是重跑一通代码后发现损失不光不降，反而不断变大，甚至直接变成NaN。这种时候不用慌，按照下面的排查顺序检查，绝大多数问题都能快速定位。
首先检查学习率。一个很典型的例子：Adam优化器默认学习率是0.001，这个值在大多数小模型上表现不错，但如果你用SGD加上0.1的学习率，非常容易振荡甚至发散。判断方法很简单，看损失值的变化：如果损失先下降了一点然后猛地跳到超大值，基本就是步长迈太大，跨过了最优区域。调小学习率，比如从0.1降到0.01或0.001，通常会立刻好转。
其次检查数据归一化。神经网络对输入的尺度非常敏感，如果输入的像素值范围是0到255，而没做归一化，那第一层的加权求和很容易进入激活函数的饱和区，梯度趋近于0，训练会极其缓慢。正确做法是像上面代码里那样，把像素归一化到0到1，再用标准化让均值为0、方差为1的分布。这里用的均值0.1307和标准差0.3081是MNIST官方给出的全量数据统计值，直接抄即可。
第三检查损失函数和输出层是否匹配。nn.CrossEntropyLoss要求网络输出的是各个类别的logits（未经过Softmax），它会内部自动完成Softmax和交叉熵计算。如果你在最后一层手动加了Softmax，再传给CrossEntropyLoss，虽然代码能跑，但数值上等于对概率又做了一次变换，不仅会降低训练效率，严重时还会导致损失收敛变差。
用一个排查表格总结：
| 现象 | 首要检查项 | 次要检查项 | 处理建议 |
|---|---|---|---|
| 损失从初始就NaN | 学习率过大 | 数据包含NaN或无穷值 | 学习率降到0.0001级；清洗数据 |
| 损失下降极慢 | 数据未归一化 | 网络过深且激活函数不当 | 标准化输入；改用ReLU/LeakyReLU |
| 损失上升，震荡明显 | 学习率偏大 | 优化器选择不当 | 降低学习率；换Adam+默认学习率 |
| 训练Loss降、测试Loss升 | 过拟合 | 数据划分不均 | 加Dropout；增大数据量；早停 |
| 准确率始终约等于随机 | 标签错位 | 网络结构输出维度错误 | 检查dataloader打乱逻辑；核对类别数 |
5.2 过拟合：网络“死记硬背”了训练集怎么办
过拟合是神经网络训练中最常见的困境，现象描述起来很简单：模型在训练集上表现神勇，准确率接近100%，一换到测试集就拉胯，准确率掉到七八成。本质上，网络把训练集里的噪声和细节都“背”下来了，而不是真正学会了泛化规律。用一个通俗的类比，就好比一个学生把练习册答案背得滚瓜烂熟，但考试题稍微换个样子就不会做了。
处理过拟合，从三个方向入手最有效。
数据层面：增加数据量是最根本的手段。对图片数据可以做数据增强——随机旋转、平移、裁剪、翻转、加噪声，人为制造更多的训练样本。对于表格数据，可以做特征筛选，去掉那些噪声大、与标签关系弱的特征。
模型层面：加Dropout是最简单有效的方法。Dropout在训练时随机让一部分神经元失活，强迫网络不能依赖某一个或某几个神经元，从而学会“分布式”的表征。一般加在全连接隐藏层之间，失活比例0.2到0.5之间，我的经验是0.3左右通常比较平衡。之前定义的MNISTMLP里其实可以加上这么一行：
self.dropout = nn.Dropout(0.3) # 使用时在ReLU后调用： # x = self.dropout(self.relu(self.fc1(x)))加L2正则化也有类似效果，它的思想是在损失函数里加上所有权重的平方和，惩罚过大权重，迫使网络学习到更平滑的函数。PyTorch中直接在优化器里设置weight_decay=1e-4即可，非常方便，推荐默认就加上。
训练策略层面：早停（Early Stopping）也很好用。可以设计成每训练完一个epoch就评估一次测试集，连续多个epoch测试集指标不再提升就停止训练，同时保留历史上测试集表现最好的那一版模型参数。实现不复杂，但能省下很多无效训练时间，也能防止在过拟合方向上越走越远。
5.3 参数初始化的门道：为什么不能全部初始化成0
这里不得不提一个新手几乎必踩的坑——把网络的权重全部初始化为0。表面上看，全部置0让计算非常干净，实际上会让所有神经元完全对称，反向传播时每个神经元收到的梯度完全相同，权重更新也完全相同，相当于网络中所有隐藏层神经元永远在学同一件事，模型退化成一个线性模型，完全没有表达能力。这个现象在数学上叫“对称性问题”。
正确的权重初始化原则是：打破对称性，同时保持输出的方差稳定。常用方法有Xavier初始化（也叫Glorot初始化），适合Sigmoid/Tanh激活函数；Kaiming初始化（也叫He初始化），专门为ReLU设计。PyTorch里用nn.Linear会自动选择合理的默认初始化方法，所以对大多数应用场景，你不需要手动设置。但如果你遇到了深层网络训练不收敛、梯度消失之类的问题，回到初始化这一步去检查也是排查方向之一。
具体到代码，如果确实要手动初始化，推荐这样写：
def init_weights(m): if isinstance(m, nn.Linear): nn.init.kaiming_normal_(m.weight, mode='fan_in', nonlinearity='relu') nn.init.zeros_(m.bias) model.apply(init_weights)fan_in模式是根据输入神经元数量来缩放权重的方差，保证信号在前向传播过程中不会逐层放大或缩小，对ReLU网络是标准选择。
5.4 数据预处理与标签处理的隐性陷阱
数据预处理环节有大量隐形陷阱，细节决定成败，这里专门强调几个常犯的错误。
标签必须是整数索引，不能是one-hot编码后的形式。用MNIST时，标签是0到9的整数，nn.CrossEntropyLoss直接接收这种格式，计算时会自动按类别索引去取logits对应位置。如果你手动做了one-hot编码，还要再转回来，白白增加出错机率。但在一些图像分割、多标签分类任务中，one-hot编码又有其必要场景，这要区分清楚，不是所有场景都不用。
Batch Size的选择也有讲究。64或128是绝大多数入门项目的默认值。如果批次太小，比如1，梯度更新会非常不稳定，损失曲线噪声很大；如果批次太大，比如1024，内存占用高，且每个epoch更新次数少，收敛速度反而可能变慢，因为大batch的梯度和全量梯度更接近，参数更新方向偏保守。值得注意的是，实际研究中Batch Size对最终泛化性能的影响并不像直觉那么简单，很多公司在用超大batch时会配上学习率warmup和LR scaling，这是后话，新手先用64和128就足够稳定。
训练集和测试集的划分必须严格隔离。在数据加载时，如果对全量数据做了标准化，必须只用训练集的统计量（均值和标准差），而不是用测试集的统计量去算。否则就相当于测试阶段“偷看”了答案，评估结果会虚高，看似训练完美，上线之后立刻现形。上面代码里transforms.Normalize用的是固定数值，就是预先统计出来的训练集均值和标准差，测试时也复用同样的数值，这个思路在真实项目中一定要坚持到底。
6. 全连接神经网络之外：下一步的AI学习路线参考
6.1 从MLP到CNN和RNN的逻辑推演
如果把全连接神经网络的思路理解透彻，下一步往哪里走其实是水到渠成的。
第一个方向是处理图像数据，这时你会遇到全连接网络的一个明显短板：参数量太大，且没有利用像素的局部空间结构。一张256x256的彩色图片，拉平后就有近20万个输入节点，第一层隐藏层假设有512个神经元，这一层的参数量就超过一亿，训练几乎不可行。卷积神经网络（CNN）的核心解法是用局部连接和权重共享来大幅降低参数量，同时用卷积核自动提取局部特征。你会发现，CNN里依然有全连接层，通常放在网络末端，负责把卷积和池化提取到的高级特征整合成最终的分类结果。所以全连接网络的知识不是“学完就扔”，而是成为CNN缺一不可的组成部件。
第二个方向是处理序列数据，比如文本、语音、股票价格这类有明显先后顺序的信息。全连接网络架设的前提是“所有特征同时输入”，它完全不关心顺序；而序列数据里的顺序往往是语义的关键——“我打你”和“你打我”用了相同的字，但含义完全相反。循环神经网络（RNN）的朴思想是让网络在时间方向上循环，把上一个时间步的隐藏状态带到当前时间步，相当于给网络装了一个“短期记忆”。LSTM和GRU解决了RNN的长期依赖问题，是这类模型的加强版。
第三个方向是目前炙手可热的Transformer和大语言模型。它的核心是“自注意力机制”（Self-Attention），可以并行处理整个序列，同时建模任意两个位置之间的关系。Transformer里最核心的模块——FFN（Feed-Forward Network，前馈网络），你细看它的实现，本质上就是两个全连接层加一个激活函数。所以你会惊奇地发现，大模型也离不开全连接层，它在注意力机制“收集信息”之后，承担了最重要的“加工信息”的职责，也是模型参数量的最大来源之一。
6.2 做一个人工智能大作业或比赛项目时的建议
很多学生卡在“不知道做什么题目”这一关，非要等到别人给一个选题才开始动手，其实这是把顺序搞反了。人工智能大作业和比赛的本质，不是“做出一个没人做过的模型”，而是“用现有的成熟方法，解决一个能讲清楚的问题，并验证其效果”。MNIST手写数字识别做了这么多年，被无数人做过，但如果能在这个基础上，加入自己的数据处理方法、网络结构改进、调参经验总结，它就是一份合格的大作业。
针对想参加人工智能比赛的新人，我建议从MNIST练习过渡到猫狗识别这类经典图像二分类题。这里说明一下，猫狗识别和MNIST最大的区别在于：MNIST图片是黑白的、整理好的、带统一背景的，而猫狗图片是彩色、杂乱、大小不一、有遮挡的，还会混入很多和猫狗无关的背景噪声。这种“从实验室数据到真实数据”的跨度，才是入门比赛最值得体验的难点。
做这类小比赛时，我强烈推荐在小规模数据集上先验证再全量训练。也就是先拿出200张图片跑通整个训练流程，确认代码不出错、损失能下降，然后再扩展到全体数据训练。千万别一上来就跑全量数据，等了两小时发现数据加载有问题，只能推倒重来，这种时间的浪费我经历过太多次了。
6.3 保持学习动力的三个小技巧
人工智能内容更新太快，各种新模型、新名词层出不穷，很容易让人焦虑。我说说我的经验，供你参考。
不要追求看懂所有最新论文，先把自己手头项目用到的核心概念彻底吃透。底气来自对基础的掌控，而不是对热点的追逐。一个能把全连接网络的前向传播、反向传播、过拟合原因讲得清清楚楚的人，在工程能力上通常不会差；而一个只会念模型名、背参数数字的人，写代码时大概率会漏洞百出。
动手验证大于只看不练。很多理论只靠看书是理解不透的，比如ReLU为什么会解决梯度消失，你自己写个两层对比实验，用Sigmoid和ReLU各训一轮看效果，这种亲身体验比阅读十篇讲原理的文章都来得深刻。每一个让你“原来如此”的瞬间，几乎都是在代码里撞见和解决实际问题后获得的。
建立自己的代码笔记库。很多人觉得跑通一个项目就完事了，很快又忘得一干二净。我的习惯是，每做完一个项目，把核心代码、踩过的坑、调参记录都整理成笔记。下次做类似项目时直接翻出来复用，尤其是数据加载、归一化参数、训练循环这些“公共模块”，一次写好，受益很久。这也是为什么我建议你认真读一读本文第四部分的代码——它完全可以当成一个通用模板，换成任何表格数据集，改改输入维度和输出类别数就能直接用。
7. 写在最后：我踩过最狠的一个坑，希望能帮你避开
我最早独立写全连接网络代码时，用的Deep Learning框架还不是今天这代，踩过数不清的坑，但最深刻的一次，是在全连接层输出维度设置错误时发生的。
当时我做的是一个10分类任务，网络代码里最后一层我写的是nn.Linear(128, 5)，正确的分类数应该是10。训练的时候，损失函数一直在报维度不匹配错误，我第一反应是改损失函数，换了好几种写法都没用。后来又怀疑数据加载，反复打印数据形状，折腾了将近一个小时才发现，问题出在最后一层的输出维度上——它和标签数量对不上。
这个经历给我的教训是：代码报错时，先看错误信息最靠下的那一行，找到它指向的具体代码位置，再往上追查。90%的报错，其实都是某个维度的对不上、某个类没有实例化、某个变量忘了初始化这类低级问题，而不是什么高深的算法缺陷。调试神经网络代码，本质上就是一个“验证每一步数据形状是否正确”的过程。
你现在学全连接神经网络，遇到的坑大概率也都在这些基础环节。不要怕错，不要怕慢，把每一步的原理和代码对应起来看，搞清楚“为什么用这个函数”“为什么这个形状”，后面学任何高级网络，路都会越走越顺。
