全连接层可能是深度学习里最容易被轻视的结构。很多人觉得它无非就是把矩阵乘一遍，加个偏置，再过个激活函数，没什么好研究的。但我在实际做项目的时候发现，恰恰是这些“很简单”的地方，藏着大量值得琢磨的细节——从特征图怎么展平、维度怎么对齐，到参数量怎么控制、Dropout加在哪一层效果最好，再到为什么有些模型把全连接层换成全局平均池化之后反而涨点。这篇文章我就把这些年碰到的、学到的全连接层相关内容一次性讲透，既能帮初学者把这个基础模块彻底搞明白，也能让有经验的从业者查漏补缺。如果你正在准备面试，或者想深入理解CNN、Transformer里面那些矩阵运算的本质，这篇应该能给你一些不一样的视角。
1. 全连接层到底在算什么：从矩阵乘法到特征决策
1.1 矩阵乘法的本质是线性组合
全连接层的数学定义非常简单：给定输入向量 (x)，经过权重矩阵 (W) 和偏置 (b) 的线性变换，再经过激活函数 (f)，得到输出向量 (y)，即：
[ y = f(Wx + b) ]
这里的核心是 (Wx) 这个矩阵乘法。很多人会背这个公式，但没想过它到底在干什么。我换个说法你就明白了：如果输入有 N 个特征，输出有 M 个神经元，那么 (W) 就是一个 (N \times M) 的矩阵。输出向量的第 (j) 个元素，等于输入向量的每一个元素分别乘以对应的权重后求和。也就是说，输出里的每一个节点，都接收了输入里所有节点的信息，这正是“全连接”三个字的来历。
举个具体例子。假设输入是两个人的特征，一个是“年龄=25、年收入=20万、日均使用时长=2小时”，另一个是“年龄=40、年收入=50万、日均使用时长=0.5小时”。全连接层要做的，就是给每个输入特征分配一个权重，比如年龄的权重是0.1，收入的权重是0.3，使用时长的权重是0.8，然后加权求和得到一个得分。这个得分就表示“该用户对某个商品的偏好程度”。本质上，全连接层是在把输入特征做线性加权组合，提取出对当前任务最有判别性的信息。
矩阵乘法虽然看起来是纯数学操作，但它在神经网络中有着清晰的物理意义。每一列权重可以看作一个“模板”或“检测器”，它与输入向量做内积，内积值越大，说明输入和这个模板越匹配。全连接层堆叠足够多的时候，网络就能组合出非常复杂的决策边界，这也是为什么它被称为“全连接”——每个输出单元都依赖所有输入单元。
1.2 偏置项的作用：让决策边界不再过原点
在公式 (Wx + b) 中，偏置 (b) 经常被忽略，但它的作用非常关键。如果没有偏置，那么当输入向量全为 0 时，输出也永远是 0。这意味着模型的决策边界必须经过原点，这大大限制了模型的表达能力。
举个直觉例子。假设我们想判断一个用户是否活跃：活跃的标准是“日使用时长超过 30 分钟”。如果特征 (x) 表示“日使用时长”，权重 (w = 1)，那么没有偏置时，输出就是 (x)。输出大于 0 才判定为活跃，这意味着时长只要大于 0 就被判为活跃，显然不合理。加入偏置 (b = -30) 后，输出为 (x - 30)，只有当 (x > 30) 时输出才大于 0，决策边界就从“过原点”变成了“在30分钟的位置”。这就是偏置的作用：让决策边界可以在空间中平移。
在代码实现中，PyTorch 的nn.Linear(in_features, out_features)会默认创建权重矩阵和偏置向量。偏置初始值通常设为 0，训练过程中会自动学习到合适的值。如果你确定某个任务不需要偏置，可以在初始化时设置bias=False，但绝大多数场景下建议保留。
1.3 激活函数为什么要紧跟其后
如果把多个全连接层直接叠加，不加激活函数，那么无论堆多少层，整个网络在数学上仍然等价于一个线性变换。因为线性变换的复合还是线性变换。这就像你用两把尺子首尾相接去量长度，量出来的结果还是一把尺子的刻度乘以某个倍数，并没有增加新的度量能力。
激活函数的作用是引入非线性。以 ReLU 为例，公式为 (f(x) = \max(0, x))，它把所有负数全部截断为 0，把正数保留。这样一个简单的操作，却让神经网络可以拟合任意复杂的函数。实际上，只要激活函数是非线性的，加上足够的神经元，网络就可以逼近任意连续函数，这就是神经网络通用近似定理的直觉解释。
在实际项目中，我见过不少初学者把激活函数理解成“非线性装饰品”，可有可无。这个误解很危险。没有激活函数的深层网络，训练再久也无法解决稍微非线性一点的问题，比如图像分类这种高度非线性的任务。所以记住一个铁律：全连接层之后，几乎总要接一个激活函数，除非这一层是网络的最后一层且配合了 Softmax 或 Sigmoid。
1.4 一个完整的前向计算示例
为了让大家把矩阵乘法的流程彻底刻在脑子里，我手动演示一个最简单的例子。假设输入 (x = [1, 2]^T)，权重矩阵 (W = [[0.5, -1], [1, 2], [0, 1.5]])，偏置 (b = [0.1, -0.2, 0.3]^T)。
输出第1个神经元的值 = (1 \times 0.5 + 2 \times (-1) + 0.1 = -1.4)。
输出第2个神经元的值 = (1 \times 1 + 2 \times 2 - 0.2 = 4.8)。
输出第3个神经元的值 = (1 \times 0 + 2 \times 1.5 + 0.3 = 3.3)。
可以看到，输入向量的每个分量都参与了每个输出神经元的计算。如果是 3 个输入特征、5 个输出神经元，那么一共需要进行 (3 \times 5 = 15) 次乘法运算。理解这个微观计算过程后，你就能理解为什么全连接层的计算复杂度是 (O(in \times out)) 了。
2. 权重矩阵的维度玄机：参数从哪来、到哪去
2.1 维度推导与参数量的精确计算
全连接层的参数量计算是面试和工程中最常考的点。如果输入维度是 (D_{in})，输出维度是 (D_{out})，那么权重矩阵的形状是 ([D_{in}, D_{out}])，参数量为 (D_{in} \times D_{out} + D_{out})（多出来的部分是偏置）。
举个例子：输入维度 1024，输出维度 512，参数量为：
[ 1024 \times 512 + 512 = 524,800 ]
如果用 float32（4 字节）存储，这个全连接层占用的内存为：
[ 524,800 \times 4 / 1024^2 \approx 2 MB ]
单看一层可能觉得不多，但神经网络通常有多个全连接层。如果一个模型末尾有两个全连接层，第一层输入是 8192（比如 7×7×128 的特征图展平），输出是 4096，第二层输入是 4096，输出是 1000，那么总参数量为：
[ 8192 \times 4096 + 4096 + 4096 \times 1000 + 1000 \approx 33.5M + 4.1M = 37.6M ]
这在图像分类模型里已经算很多了。要知道，一个经典的 LeNet-5 总参数量也才 6 万左右，而 AlexNet 的参数量高达 6000 万，其中绝大部分来自全连接层。这就是为什么后来很多研究都在尝试降低全连接层的参数量。
2.2 输入维度变化造成的连锁反应
全连接层有一个在工程中非常“讨厌”的特点：输入特征维度必须固定。卷积层可以用任意尺寸的输入图片，因为卷积核在空间上是滑动的，参数与图片大小无关。但全连接层的权重矩阵维度是固定的，如果输入的图片尺寸发生变化，展平后的特征向量长度就变了，权重矩阵根本无法完成运算。
我踩过的坑是这样的：训练模型时用的是 224×224 的图片，推理时为了让程序跑通，把图片直接缩放到 192×192，结果卷积层和池化层都正常工作，但到了全连接层程序直接报维度不匹配错误。这个错误信息很明确，但发生的原因需要你对每一层特征图尺寸有清晰的认识。
解决方法有两种：一是对输入图片做中心裁剪或固定缩放，保证输入尺寸始终一致；二是在全连接层之前加一个自适应池化层，比如nn.AdaptiveAvgPool2d((1, 1))，把任意尺寸的特征图池化成固定长度为通道数的向量，再接全连接层。后者更优雅，也是现代网络普遍采用的做法。
2.3 输入输出维度设计的工程经验
设计全连接层的输入输出维度时，我一般遵循以下几个经验：
- 输入维度取决于上一层输出展平后的长度。如果上一层特征图是 [batch, C, H, W]，展平后就是 C×H×W。
- 输出维度如果是分类任务，通常等于类别数。比如 ImageNet 分类就是 1000。
- 中间全连接层的维度设计没有绝对标准，常见做法是从大往小递减，比如 4096 → 1024 → 10，让信息逐层抽象。
但要注意，中间层的维度并不是越大越好。维度越大，参数量成平方级增长，过拟合的风险也随之上升。我见过有人在只有几千张图片的小数据集上，把全连接层设成 8192 维，结果训练集准确率一路冲到 99%，验证集却只有 70%。这种典型的过拟合表现，很大程度上就是全连接层参数过多导致的。
这里给出一个实用的建议：如果数据集不大（万级以下），中间全连接层维度控制在 256~1024 之间就足够了；如果数据集很大，可以适当放宽到 2048 或 4096，但一定要配合 Dropout 和权重衰减。
3. 卷积层、池化层、全连接层：特征提取与决策分工
3.1 卷积层负责找“局部特征”
热搜词里把“卷积层、池化层、全连接层”放在一起，这其实是 CNN 最经典的三大件。为了理解全连接层在其中的位置，必须先理解它前面那两个模块各自干了什么。
卷积层做的事情是局部特征提取。一个卷积核在图片上滑动，每次只看一个小窗口，提取这个小窗口里的模式。前面几层卷积核能学到边缘、颜色块等低级特征，中间层能学到纹理、局部形状，后面层能学到物体的部件，比如眼睛、轮子、嘴巴。卷积层的核心优点有两个：一是参数共享，同一个卷积核在图片各处重复使用，参数量大大降低；二是局部连接，每个输出点只和一个小邻域相关，符合图像的局部相关性。
3.2 池化层负责“浓缩”特征图
池化层做的事情是降采样，最常见的是最大池化和平均池化。它的作用主要有两个：一是缩小特征图的空间尺寸，减少计算量；二是增强平移不变性——物体稍微移动几个像素，池化后的结果变化很小。
我经常把卷积+池化比作“看一张照片找线索”：卷积层相当于拿着放大镜逐块观察，把看到的重要线索记录在特征图上；池化层相当于每看完一个区域就做个笔记，把大图浓缩成一小块摘要。经过几轮“观察-摘要”之后，我们就得到了一张包含整张图片关键信息的浓缩特征图。
3.3 全连接层负责“综合判断”
卷积层和池化层输出的特征图还停留在“哪里有什么”的空间描述层面，而全连接层要做的，是综合所有线索给出最终判断。比如一张猫的图片，经过前面的卷积和池化，特征图里可能记录了“有尖耳朵”、“有胡须”、“有花纹”等信息，但这些信息分散在特征图的不同通道和位置上。全连接层把这些分散的信息全部展平，然后通过矩阵乘法将它们组合起来，判断出“这是一个猫”的概率。
可以这样理解：卷积层和池化层是“采集证据”的侦察员，全连接层是“根据证据下结论”的法官。侦察员负责发现局部线索，法官负责整合这些线索并做出全局决策。
3.4 一个图像分类任务贯通三者
我用一个具体的流程来串一遍。假设输入是 32×32 的彩色图片，通道数为 3，经过两层卷积+池化后，特征图尺寸变成 8×8×16。此时特征图有 16 个通道，每个通道是 8×8 的空间网格，表示不同类型的特征响应。
要把这个特征图送入全连接层，需要先展平（Flatten），变成长度为 (8 \times 8 \times 16 = 1024) 的一维向量。然后经过一个全连接层，输出 10 个神经元（假设是 10 分类任务），最后接 Softmax 得到每一类的概率。
这里展平操作非常关键，它把空间结构信息“压扁”成一维序列，让全连接层可以用矩阵乘法处理。展平时的顺序通常按“通道优先”的方式排列，即先把第一个通道的所有空间位置排完，再排第二个通道。这个顺序对最终结果影响不大，因为权重矩阵会自动学习到对应的位置权重，但代码实现时要注意保证一致性。
4. 全连接层的“富贵病”：过拟合、参数量与正则化实战
4.1 参数量爆炸是怎么发生的
全连接层的参数量与输入、输出维度都成正比。在处理图像时，展平后的特征向量通常很长。举个典型例子：VGG16 网络在进入第一个全连接层之前，特征图尺寸是 7×7×512，展平后长度为 25088。如果第一个全连接层输出维度是 4096，那么这一层的参数量高达：
[ 25088 \times 4096 + 4096 \approx 1.03 亿 ]
一个亿的参数，光是存储就需要 400MB 的 float32 内存。这还只是一个全连接层。VGG16 三个全连接层的总参数量占了整个网络参数量的大部分，这也直接导致了 VGG 模型体积巨大，训练和推理都极其消耗资源。
更麻烦的是，参数量大的直接后果是过拟合。模型有太多自由度，完全可以“背下”训练数据中的每一个样本，而不是学到泛化的规律。在训练集上表现完美，在验证集上一塌糊涂，这种情况在带大全连接层的网络上屡见不鲜。
4.2 Dropout 的正确打开方式
Dropout 是应对全连接层过拟合最有效的武器之一。它的原理非常简单粗暴：训练时，以一定概率（通常 0.5）随机丢弃部分神经元，让每一次前向传播都在一个不同的“子网络”上进行。这样做的效果相当于同时训练了指数多个子网络，推理时再用所有子网络的集成结果。这就是为什么 Dropout 能显著提升泛化能力。
实际使用 Dropout 时，有几个容易被忽略的细节值得注意。
第一，Dropout 只应该在训练阶段生效。在推理阶段，所有神经元都要参与计算，否则输出结果会不稳定。PyTorch 的nn.Dropout自动处理了这个问题：模型在model.train()模式下会随机丢弃，在model.eval()模式下不会丢弃。但如果你手动实现了 Dropout，必须记得在推理时把输出乘以保留概率，或者使用更简洁的 inverted dropout。
第二，Dropout 放到哪里最合适？经验法则是在全连接层之后、激活函数之后使用。因为激活函数会改变输出的分布，先激活再 Dropout 能保证丢弃的是真正的神经元输出值。如果你把 Dropout 放在激活函数之前，会把负值先置零再激活，效果会有差异，但很多时候也能用。目前主流的写法都是：全连接层 → 激活函数 → Dropout。
第三，Dropout 概率的选择。对于全连接层，0.5 是常见的默认值；如果你发现模型欠拟合（训练准确率也上不去），可以试着减小到 0.3 或 0.2。如果模型严重过拟合，可以增大到 0.6 甚至 0.7。在实际调参中，我习惯先不开 Dropout 让模型过拟合，确认模型能够记住训练集之后，再逐渐增大 Dropout 强度，观察验证集准确率的变化。
4.3 权重衰减与标签平滑
除了 Dropout，权重衰减（Weight Decay）也是不可或缺的正则化手段。它本质上就是在损失函数中加上权重矩阵的 L2 范数惩罚项，让权重不要变得太大。理由是：过大的权重意味着模型对某个特征过于敏感，一点噪声就会导致输出剧烈变化。通过惩罚大权重，模型被迫“更平均”地利用所有特征，从而增强稳定性。
在 PyTorch 中，你可以在优化器中直接设置weight_decay参数。常见的初始值是 1e-4 或 5e-4。需要注意的是，权重衰减不应该施加在偏置上，也不应该施加在 BatchNorm 的缩放因子和偏置上。PyTorch 的优化器默认会对所有参数施加权重衰减，因此我通常会将参数分组，把不需要正则化的参数排除在外，代码如下：
import torch.nn as nn model = nn.Sequential( nn.Linear(1024, 512), nn.ReLU(), nn.Dropout(0.5), nn.Linear(512, 10) ) decay_params = [] no_decay_params = [] for name, param in model.named_parameters(): if not param.requires_grad: continue if len(param.shape) <= 1 or name.endswith("bias"): no_decay_params.append(param) else: decay_params.append(param) optimizer = torch.optim.AdamW([ {"params": decay_params, "weight_decay": 1e-4}, {"params": no_decay_params, "weight_decay": 0.0} ], lr=1e-3)标签平滑（Label Smoothing）是另一个在分类任务中很实用的小技巧。它在计算损失时，不把真实类别的 one-hot 标签当成 1 和 0，而是稍微软化一下，比如正确类别为 0.9，其他类别均匀分配 0.0001。这么做可以防止模型对训练标签过于自信，间接缓解过拟合。虽然它不直接作用于全连接层的参数，但在使用大全连接层时非常有效。
4.4 观察训练曲线的判定方法
最后分享一个判定全连接层是否“过度配置”的经验方法。训练过程中，如果出现以下情况：训练准确率超快地冲到 95% 以上，而验证准确率在 70%~80% 徘徊，并且训练 loss 持续下降、验证 loss 反而上升，那么多半是全连接层参数量太多或者 Dropout 不够。此时优先做两件事：降低中间全连接层的维度，以及增加 Dropout 概率。这两步如果还压不住过拟合，再考虑加入数据增强或提前停止训练。
5. 工程实现中的维度变换与踩坑记录
5.1 特征图展平的正确姿势
从卷积层到全连接层之间，必须有一个展平操作。PyTorch 中最常见的是nn.Flatten(start_dim=1)，它会保留 batch 维度，把从第 1 维开始的所有维度展平成一个维度。
这里有三个方法对比：
import torch import torch.nn as nn # 方法一：nn.Flatten flatten = nn.Flatten() x = torch.randn(4, 16, 8, 8) y = flatten(x) print(y.shape) # 输出: torch.Size([4, 1024]) # 方法二：view y = x.view(x.size(0), -1) print(y.shape) # 输出: torch.Size([4, 1024]) # 方法三：reshape y = x.reshape(x.size(0), -1) print(y.shape) # 输出: torch.Size([4, 1024])三个方法的效果基本相同，但view要求张量在内存中是连续的，在卷积操作之后，张量通常是连续的，所以view一般不会报错。如果遇到view报错说张量不连续，使用reshape即可解决。
5.2 维度不匹配的经典报错与解决思路
全连接层最常见的工程错误，就是在输入特征维度上算错了数。假设你的特征图输出是 [batch, 512, 7, 7]，展平后是 25088，但你在nn.Linear里写成了 25000，程序运行时就会报如下错误：
RuntimeError: mat1 and mat2 shapes cannot be multiplied (4x25088 and 25000x10)这个报错信息已经非常明确地告诉了你维度对不上，但如果你不清楚特征图尺寸的计算，还是不知道该怎么改。我的经验是：先用一段简单的代码跑一次前向传播，打印出每一层的输出形状，再填入全连接层的输入维度。比如：
import torch.nn as nn model = nn.Sequential( nn.Conv2d(3, 16, kernel_size=3, stride=1, padding=1), nn.ReLU(), nn.MaxPool2d(2), nn.Conv2d(16, 32, kernel_size=3, stride=1, padding=1), nn.ReLU(), nn.MaxPool2d(2), ) dummy = torch.randn(1, 3, 32, 32) out = model(dummy) print(out.shape) # 输出: torch.Size([1, 32, 8, 8]) # 展平后维度为 32 * 8 * 8 = 2048用这种方法，你就不需要每次手算特征图尺寸了，直接根据out.shape设置nn.Linear的输入维度即可。
5.3 推理阶段容易忽略的内存问题
全连接层的另一个工程痛点是推理阶段的内存占用。在 GPU 上，一个 batch 的中间特征图如果比较大，全连接层做矩阵乘法时会占用大量显存。比如输入 batch=64，特征维度 25088，输出维度 4096，单次矩阵乘法的中间结果大小约为：
[ 64 \times 25088 \times 4096 \times 4 \text{ bytes} \approx 26.3GB ]
这显然是不现实的。所以实际工程中，如果遇到全连接层显存爆掉的情况，有几个思路：一是减小 batch size；二是用 1x1 卷积先降维再接全连接层；三是把全连接层替换成全局平均池化，大幅降低特征维度。
在我负责的一个工业级图像分类项目中，模型就是一个大全连接层导致 GPU 显存直接爆掉。当时我把全连接层接在了一个 7×7×512 的特征图后面，输入维度 25088，batch 稍微大一点就 OOM。后来我把网络改成AdaptiveAvgPool2d((1, 1))池化后再接全连接层，输入维度直接从 25088 降到了 512，参数量减少了近 98%，显存占用也跟着大幅下降，准确率几乎没有损失。这一步改造的收益远超我的预期。
5.4 从矩阵乘法的角度看 batch 维度的处理
矩阵乘法对 batch 维度的处理也是初学者容易懵的地方。全连接层的权重矩阵是二维的，但输入往往是一个三维或四维张量，比如 [batch, seq_len, hidden_size]。nn.Linear在进行计算时，会把这个张量的最后一维看作特征维度，把前面所有的维度都当作 batch 维度进行统一运算。也就是说，它内部会先把 [batch, seq_len, hidden_size] 变成 [batch*seq_len, hidden_size]，做矩阵乘法后再恢复形状。
这个机制在 Transformer 的实现中非常有用。自注意力层输出的张量形状是 [batch, seq_len, d_model]，要经过一个Linear层，你不需要手动展平，nn.Linear会自动在最后一维上进行线性变换。这也是为什么nn.Linear在很多现代网络结构中都能直接使用的原因。
6. 全连接层的替代方案与演进：从 GAP 到注意力机制
6.1 全局平均池化：为什么现代网络都爱它
全连接层最大的问题在于参数量太大，而全局平均池化（Global Average Pooling，GAP）提供了一个几乎零成本的替代方案。GAP 的操作极其简单：对每个通道的特征图求全局平均值，输出一个长度为通道数的向量。比如输入特征图是 [batch, 512, 7, 7]，经过 GAP 后直接变成 [batch, 512]。
这个操作的好处有三点：第一，没有额外参数；第二，对输入尺寸不敏感，无论特征图是 7×7 还是 14×14，GAP 的输出长度都等于通道数；第三，天然具有一定的正则化效果。GoogLeNet 和 ResNet 都采用 GAP 替代了传统的大型全连接层，在降低参数量的同时保持甚至提升了模型性能。
我在实践中的感受是，GAP 并不是在所有任务上都比全连接层强。如果任务需要对空间位置信息做精细的利用，比如目标检测中的坐标回归，GAP 会丢掉太多空间细节，这时保留全连接层反而更合适。GAP 最擅长的是图像分类这种“全局语义判断”任务。
6.2 1x1 卷积：另一种“全连接”
1x1 卷积在结构上与全连接层有着微妙的关系。它每次只在空间位置上的一个像素做运算，输入通道数为 C_in，输出通道数为 C_out，权重矩阵形状为 [C_in, C_out]。从单个像素的角度看，1x1 卷积就是一个在全通道维度的全连接层，但它在空间位置之间共享同一组权重。
这种“空间共享”的特性让 1x1 卷积比标准全连接层更节省参数，也更适合处理图像数据。在 MobileNet 等轻量级网络中，1x1 卷积被大量使用，因为它既能调整通道数，又能保持空间结构。如果想把一个全连接层替换成 1x1 卷积，只需要把输入特征图的 H 和 W 都看作 1，然后在通道维度上做线性变换即可。
6.3 自注意力机制可以看作动态版的全连接层
这里我想给理解 Transformer 的读者一个思路：自注意力机制在某种意义上是全连接层的“动态权重”版本。在全连接层中，权重矩阵是固定的，无论输入的语义内容是什么，同一个输入特征总是乘上同一个权重。而自注意力机制会根据输入内容动态计算每个 token 与其他 token 之间的关联权重，相当于为每个输入样本生成一个专属的权重矩阵。
这种类比能帮你快速理解为什么 Transformer 能建模长距离依赖：全连接层的权重是静态的，它对所有位置一视同仁；而自注意力能够根据两个位置的关联程度动态调整交互强度，所以能更灵活地捕捉全局上下文。从工程角度看，自注意力机制的计算公式 (Attention(Q, K, V) = softmax(QK^T / \sqrt{d_k})V) 里也包含了矩阵乘法，和全连接层的计算有异曲同工之妙。
不过，自注意力机制参数量虽然不大，但计算复杂度是序列长度的平方，在长序列上容易爆内存。这也是为什么在实际应用中，往往会在注意力层后面接一个 MLP 块（也就是两个全连接层加激活函数），用少量参数做特征变换和增强。
6.4 实际选型建议
在真实项目中，我一般按以下思路选择网络尾部结构：
- 如果任务是图像分类，且希望模型轻量、泛化好，优先用 GAP 替代大全连接层。
- 如果任务需要保留空间信息，比如目标检测的回归分支或分割任务，建议保留 1~2 层全连接层或使用 1x1 卷积调整通道数。
- 如果模型是 Transformer 结构，MLP block 中的全连接层不可省略，但维度通常设置为 4 倍隐藏层尺寸，这是性能与计算量的折中。
- 移动端部署时，尽量少用全连接层，因为它的参数量会直接影响模型文件大小和加载速度。
这些建议都是基于实际项目踩坑后的总结。有一次我把一个分类网络的 GAP 换回全连接层，发现准确率并没有明显提升，但模型大小从 20MB 涨到了 80MB。对于云端部署可能还能接受，但如果是集成到 App 里，80MB 的模型对用户体验的影响是很明显的。
我在实际项目中还有一个体会：全连接层虽然参数多、容易过拟合，但它依然是理解深度学习非线性表达能力的最佳切入口。很多初学者一上来就学 Transformer、注意力机制，结果被这些新兴结构绕得云里雾里。其实只要把全连接层的矩阵乘法想明白，后面看注意力机制的 QKV、MLP block 都会顺畅很多。最后再分享一个小技巧：调试模型时，你可以用一个小网络把全连接层单独抽出来，喂几组不同维度的随机数据，验证 forward 过程维度是否正确，这个习惯能帮你省下大量排查时间。如果你准备做模型压缩或部署，也可以从全连接层的低秩分解入手，把大权重矩阵拆成两个小矩阵相乘，参数量能降低不少，模型运行速度也会有肉眼可见的提升。这些细节，都是在真正动手做项目之后才会意识到的价值所在。
