神经网络里最不起眼、也最贵的一行代码，往往就是那句线性变换。你翻遍任何一份模型结构图，卷积、注意力、归一化都画得花里胡哨，唯独y = xW + b这种线性变换被压缩成一个方块，连名字都懒得标全。可我经手的几个项目里，出事最多的恰恰是这一块：维度对不上、参数量算错、初始化写歪、显存莫名其妙爆掉，最后追下去，八成落在某个线性变换的输入输出形状或者数值范围上。所以这篇我想把线性变换单独拎出来讲透——它到底在算什么、为什么几乎所有参数都堆在这儿、参数量怎么手算、初始化怎么定、手写一遍反向传播要注意什么、以及在注意力结构和前馈结构里它各自承担了什么角色。不管你是刚学完链式法则想动手写一遍的新手，还是已经能跑通训练、但看见 loss 曲线抖动就心里发毛的熟手，下面的内容应该都能对上你的某一段经历。
1. 线性变换为什么值得单独拆开来讲
1.1 一个矩阵乘，凭什么叫"变换"
先把名词掰开。输入是一组数，输出是另一组数，中间的规则由矩阵和偏置决定，这就是线性变换，也叫仿射变换。几何上看，矩阵乘法在干三件事：拉伸、旋转、投影；偏置在干第四件事：平移。方阵且满秩的时候，这个变换是可逆的，信息一个不丢，你能还原回去；非方阵就是升维或降维，输出空间和输入空间已经不是同一个地方了；秩亏就更严重，多个不同的输入会被压到同一个输出点上，信息直接丢了。
拿个生活化的说法：你有一箱水果，苹果、梨、橘子各若干斤，线性变换相当于按一套收购价把它们折算成一个总价。从三维的重量向量变成一维的金额，这是降维，而且不可逆——你拿到总价，永远算不出原来几斤苹果几斤梨。反向的升维呢？就像是给一笔总预算设计一份采购清单，满足条件的清单有无穷多份，变换本身只给了一个解，选择权在你手里。这个"降维丢信息、升维有自由度"的直觉，在后面理解瓶颈结构、低秩分解、乃至为什么模型要升维再降维的时候，都用得上。
1.2 只有线性层会退化成什么样
新手最容易冒出来的一个念头是：既然线性层这么重要，那我把网络堆深一点，全用线性层行不行？数学上直接给答案：不行，而且退化得非常彻底。两层线性叠加，把第一层的输出代进第二层，化简一下就是(W2·W1)x + (W2·b1 + b2)，而W2·W1本身还是一个矩阵，W2·b1 + b2还是一个向量。也就是说，一百层线性层堆起来，和一个线性层在表达能力上完全等价，你白烧了显存和算力，什么也没换来。
这条性质反过来解释了两件事。第一，为什么激活函数不能省——ReLU、GELU 这些非线性是给线性变换"折弯"用的，把原本平直的映射掰出褶皱，让多个线性层拼起来不再是单一的线性映射。第二，为什么模型里的参数几乎全在线性层上——线性变换是承载"知识容量"的那部分，激活函数本身没有可训练参数。仓库里的货物都堆在线性层这个货架上，其他部件都是管道和阀门。
我见过一个挺典型的场景：某开发者做一个特征融合的小模型，三层全连接叠起来，训练集上 loss 怎么都降不下去，调学习率、换优化器、加数据全试了一遍。最后发现问题在于那三层之间的激活被他注释掉了，理由是"调试的时候先关掉看看"。整个网络塌缩成一个线性回归，表达能力不够，怎么调都白搭。
1.3 它在你熟悉的结构里换了多少件马甲
很多人以为线性变换就是"全连接层"，其实同一个东西在模型里换了很多名字，认出来能省很多困惑：
| 结构里的名字 | 实际做的事 | 与"标准线性层"的差异 |
|---|---|---|
| 全连接层 / 稠密层 | 输入向量乘矩阵加偏置 | 最标准形态 |
| 词嵌入查表 | 把独热向量乘上嵌入矩阵 | 等价于线性变换，只是用索引免掉了大量零乘 |
| 卷积层 | 局部窗口内的加权求和 | 稀疏 + 权重共享的线性变换 |
| 注意力里的 Q/K/V 投影 | 隐状态乘上三个投影矩阵 | 标准线性层，只是输出被切成三份 |
| 前馈层的升维与降维 | 先放大维度再压回去 | 标准线性层，中间夹非线性 |
| 低秩适配模块 | 两个瘦长矩阵相乘后加到原权重上 | 低秩约束下的线性变换增量 |
| 分类头 / 语言模型输出层 | 隐状态映射到词表或类别维度 | 标准线性层，常与嵌入矩阵共享权重 |
词嵌入那一行值得单独说一句。教科书上说它是"查表"，代码里也确实是一行索引操作，但从语义上讲，独热向量（长度等于词表大小）乘上嵌入矩阵（词表大小 × 隐藏维度），结果恰好就是嵌入矩阵的第 i 行。所以它和线性层是同一个东西，只是计算上做了等价简化，避免了几十万次乘零。理解这一点，后面看"输出层与嵌入层权重绑定"就不会觉得玄乎了——两个矩阵本来就是同一个空间的映射，绑在一起还能省掉一大块参数。
2. 维度、参数量、计算量：动手之前先算清楚
2.1 形状对齐的三条硬规矩
线性层报错里九成是形状问题，而形状规则其实只有三条，记住就不用再猜：
- 输入张量的最后一维必须等于
in_features，前面的所有维度一概不关心，通通当成批量维。所以[64, 512]能进，[8, 16, 512]也能进，[2, 3, 4, 512]还是能进。 - 权重矩阵的形状是
[in_features, out_features]，输出张量就是把最后一维的 512 换成out_features，其他维度原样保留。 - 偏置的形状是
[out_features]，它只会沿着最后一维广播，绝不会碰批量维。
第三条是重灾区。有些朋友想给每个样本配一个独立的偏置，于是把偏置形状写成[B, out]，然后发现代码能跑、结果不对——广播规则太宽容了，形状不匹配时它会尝试对齐，很多时候不报错，只是悄悄算出错误的结果。这种静默错误比直接崩溃恶心一百倍，因为你不知道从哪一步开始错的。
一个具体例子：输入[32, 128, 512]，进一个512 → 256的线性层，权重[512, 256]，偏置[256]，输出[32, 128, 256]。参数量是512 × 256 + 256 = 131,328。批量维是 32 还是 32×128，对参数量没有任何影响——这一点特别重要，很多人第一次看到"序列长度不影响参数量"会愣一下。
2.2 参数量和显存的手算方法
参数量公式很朴素：in × out + out（带偏置的话）。但真要估算一个模型的显存占用，得往后多算几步：
- 权重量：参数个数 × 每个参数的字节数。全精度 4 字节，半精度 2 字节。
- 梯度量：和权重同数量级，训练时至少再占一份。
- 优化器状态：自适应优化器通常每个参数要维护两个同形状的统计量，全精度下就是 8 字节/参数；如果用了混合精度训练，还会有一份全精度的主权重副本。
- 激活值：这部分跟批量大小、序列长度强相关，往往才是显存的大头，而不是权重。
我列一张常用尺寸的表，方便你直接对照着估算（按带偏置、半精度权重、全精度优化器状态计）：
| 输入 → 输出 | 参数量 | 半精度权重 | 训练态粗略占用 |
|---|---|---|---|
| 512 → 512 | 262,656 | 约 0.5 MB | 约 3 MB |
| 1024 → 1024 | 1,049,600 | 约 2 MB | 约 12 MB |
| 4096 → 4096 | 16,781,312 | 约 32 MB | 约 190 MB |
| 4096 → 16384 | 67,125,248 | 约 128 MB | 约 760 MB |
| 8192 → 8192 | 67,116,032 | 约 128 MB | 约 760 MB |
看这张表能得出一个很有用的经验：维度翻倍，参数量是四倍增长。所以一个隐层维度 4096 的前馈层，升到 16384 再降回 4096，光这一块就是4096×16384×2，约 1.34 亿参数，比很多小模型的全部参数还多。实际动手时如果发现某个模型参数量比自己预估的大一截，八成就是前馈层那两下升维降维贡献的。
2.3 计算量与实际效率的落差
一次线性变换的乘加次数，按2 × 批量 × 序列长度 × in × out估（乘一次加一次算两个浮点操作）。但算出来的这个数字只是理论值，真正跑起来能到多少，取决于"算术强度"——也就是每搬一个字节的输入，能摊到多少次运算。
小批量的时候这个问题特别明显。假设一批只有一个样本，一个 4096→4096 的线性层，运算量不算小，但要先把 32 MB 的权重从显存里搬进来，才做得了这一批的计算。这时候瓶颈在带宽上，算力单元大部分时间在等数据，利用率低得可怜。同一个层，批量开到几百，权重只搬一次，摊到每个样本上的搬运成本就被稀释了，吞吐立刻上去。
这解释了为什么推理服务里会做"请求攒批"——不是为了省算力，是为了把访存成本摊薄。也解释了为什么模型合并、算子融合这类优化在推理端收益巨大：相邻的两个线性层如果中间没有激活，可以先把权重矩阵乘起来合并成一个，省掉一次中间结果的写回和读取，带宽压力直接砍半。
3. 初始化：线性变换最容易被忽视的一步
3.1 为什么标准差要跟输入维度的平方根挂钩
初始化看着像玄学，其实推导两行就完事了。假设输入各维独立、均值为零、方差为 σ_x²，权重各元素独立、零均值、方差为 σ_w²，那么输出的方差近似是：
Var(y) ≈ in_features × σ_w² × σ_x²想让输出方差和输入方差保持同一量级（也就是信号不放大也不衰减），就得让in_features × σ_w² ≈ 1，于是σ_w ≈ 1 / sqrt(in_features)。
这一步不做会怎样？输入维度是 4096 的时候，如果权重按标准正态初始化，输出方差会被放大 4096 倍，标准差放大 64 倍。四层下来就是天文数字，激活值直接冲进浮点数的饱和区，梯度随之变成零或者无穷。反过来，如果初始化得太小，每一层都把信号压缩一点，四层之后信噪比低到没法训练，表现为 loss 几乎不下降，梯度小得可怜。
3.2 两种主流缩放方案怎么选
实际工程里通常不需要自己手写这个公式，框架的默认初始化已经处理好了，但你必须知道默认值是什么、什么时候需要改。
| 方案 | 标准差 | 适配的激活 | 适用场景 |
|---|---|---|---|
| 均匀缩放（考虑输入输出两侧） | sqrt(2 / (fan_in + fan_out)) | tanh、sigmoid 这类对称饱和激活 | 较浅网络、循环结构 |
| 只考虑输入侧 | sqrt(2 / fan_in) | ReLU 及其变体 | 主流前馈网络首选 |
| 极小随机 | 0.01 量级 | 早期做法 | 只适合非常浅的结构，深了必崩 |
选哪个的判断依据是激活函数的性质。ReLU 把负数一半砍成零，等于把方差砍掉一半，所以需要额外乘一个约等于 2 的因子补回来；tanh 是对称的、零附近近似线性，用两侧都考虑的版本更稳。至于那个"标准差 0.01"的老做法，现在只适合拿来做最小可运行示例，真拿它训深层网络，基本是在赌运气。
偏置就简单多了，一律初始化为零。我见过有人在偏置上做随机初始化，理由是"增加多样性"，这纯属自找麻烦——偏置的梯度是对批量求和，本身的方差就比权重小得多，随机初始化只会让初始输出整体偏移，第一轮就得靠学习把它拉回来。
3.3 几个容易忽略的细节
第一，初始化的尺度要跟归一化层配合。如果线性层后面紧跟一个归一化层，那线性层输出整体放大几倍其实无所谓，归一化会把它拉回来。这时候过度纠结初始化收益不大，但如果前面没有归一化，初始化的作用就非常关键。
第二，输出层往往是例外。如果最后一层接 softmax 做分类，权重初始化得太大，初始的 logits 分布会很宽，softmax 出来接近独热，交叉熵损失一开始就卡在很高的位置，梯度信号很弱。有些实现会把输出层的初始化尺度调小一点，就是出于这个考虑。
第三，权重绑定的时候别初始化两次。输出层和嵌入层共享权重的时候，如果分别初始化再绑定，实际上是后初始化的那次覆盖了前一次，白白浪费一次随机数，而且可能让两边尺度不一致。正确做法是先建一个、再引用。
4. 手写一遍前向与反向：把公式变成肌肉记忆
4.1 前向：其实就是一次批量矩阵乘
前向的代码短到没什么可讲的，但每一步的形状必须心里有数。
def linear_forward(x, W, b): # x: [B, in] 或 [B, T, in] # W: [in, out] # b: [out] y = x @ W + b return y关键在于理解@做了什么：它把x的最后一维和W的第一维配对消掉，剩下的维度按广播规则拼起来。所以[32, 128, 512] @ [512, 256]得到[32, 128, 256]，前两个维度原封不动。偏置加在最后，沿着最后一维广播，跟前面的批量维一点关系都没有。
有个实用技巧：如果同一批数据要反复过同一个线性层（比如循环结构里），提前把输入整理成连续内存布局能明显提速。原因是矩阵乘对内存访问模式很敏感，跨步访问会让缓存命中率掉下来，同样的运算量可能慢出两三成。
4.2 反向：三个式子的来历
反向传播的三个公式，很多人是背下来的，其实推一遍就再也不会忘。设损失对输出的梯度是dy，形状和输出一致[B, out]：
- 对权重的梯度：
dW = xᵀ @ dy。为什么是转置？因为W[i][j]只影响输出的第 j 维，而影响的强度正比于输入的第 i 维值。把每个样本的贡献累加起来，就是输入的第 i 列和输出的第 j 列做内积，也就是转置之后相乘。形状上[in, B] @ [B, out]得到[in, out]，和W完全对齐。 - 对偏置的梯度：
db = dy沿着批量维求和。因为偏置对每个样本的作用完全一样，梯度自然是所有样本的和。形状从[B, out]变成[out]。 - 对输入的梯度：
dx = dy @ Wᵀ。这一项是给前一层用的，形状[B, out] @ [out, in]得到[B, in]，把梯度原路送回。
写成代码：
def linear_backward(dy, x, W): # dy: [B, out]，x: [B, in]，W: [in, out] dW = x.transpose(-2, -1) @ dy db = dy.sum(axis=-2) dx = dy @ W.transpose(-2, -1) return dx, dW, db这三个式子里，最容易被写错的是db的求和维度。批量维如果不是第 0 维（比如输入是[B, T, in]），求和就得沿着倒数第二维做，写成axis=0就会得到一个形状不对的结果，而且因为广播的存在，可能一直不报错。
4.3 数值梯度校验：写完必须验一次
手写反向最大的风险是"看起来对、其实错"，而错误的反向传播在训练时表现得很隐蔽：loss 能降，但降得慢，收敛到一个比预期差的位置，你很难判断是超参没调好还是梯度算错了。所以我写完任何自定义层，都会立刻做一次数值校验。
思路是用中心差分近似导数：对某个参数加上一个极小量 ε、再减去 ε，看损失变化了多少，除以 2ε 就是数值梯度；和解析梯度对比，算相对误差，小于 1e-6 量级基本可以放心。
def grad_check(f, x, W, b, eps=1e-6): # f(x, W, b) 返回标量损失 analytic = ... # 你手写的反向结果 for idx in sample_indices(W.shape): W[idx] += eps loss_plus = f(x, W, b) W[idx] -= 2 * eps loss_minus = f(x, W, b) W[idx] += eps numeric = (loss_plus - loss_minus) / (2 * eps) rel_err = abs(numeric - analytic[idx]) / max(1e-8, abs(numeric) + abs(analytic[idx])) assert rel_err < 1e-5, f"不一致的位置: {idx}, 误差 {rel_err}"注意：校验时一定要把网络切到推理模式或至少固定随机性，否则 dropout、随机增广会让两次前向的结果不同，误差看着很大，其实是噪声。另外 ε 不能太大（截断误差）也不能太小（浮点舍入误差），单精度下 1e-6 到 1e-4 之间比较合适。
4.4 手写版和框架版差在哪
手写一遍是为了理解，真跑训练还是得用框架。差别主要在三个地方：并行度（框架的矩阵乘会切块并行、用上所有计算单元）、内存复用（中间结果的生命周期管理、原地操作）、算子融合（把矩阵乘、加偏置、激活合并成一个核，减少往返显存）。手写的版本在这三点上都吃亏，实测下来小矩阵可能差几倍，大矩阵差一个数量级都不稀奇。
5. 线性变换在主流结构里到底在忙什么
5.1 注意力里的三次投影：为什么合成一个大矩阵
自注意力结构里，隐状态要分别投影成查询、键、值三份。可以建三个独立的线性层，也可以建一个输出维度是三倍的线性层再切三份。参数量完全一样（3 × d × d对比d × 3d），但后者在实践里更常见，原因是效率：一次大矩阵乘比三次小矩阵乘的启动开销小，GPU 上的并行度也更好。这就跟去超市买东西一样，跑一趟买齐三样，比跑三趟省时间，虽然买的东西总量没变。
还有一个经常被问到的点：为什么查询和键的维度通常比值的维度小，或者至少不相等？这跟注意力分数的计算方式有关，投影维度决定了相似度度量的分辨率，而值的维度决定了被聚合信息的容量，两者服务于不同目的，不必强行相等。理解这一点，看那些"多头数 × 每头维度 = 总维度"的配置就不会一头雾水了。
5.2 前馈层为什么非要先升维再降维
几乎所有主流结构里，前馈部分都是"升到四倍、激活、降回来"。为什么要绕这一圈？可以这么想：非线性激活是在空间里做"折弯"，维度越高，可折的方向越多，把原本纠缠在一起的特征分开的可能性就越大。升维相当于先把数据摊开到一个更宽敞的房间里，折起来更从容，然后再压回原来的维度，方便后续层处理。
代价也很直接：这一块的参数量是2 × d × 4d = 8d²，而注意力那四个投影加起来是4d²。也就是说，前馈层占的参数量是注意力的两倍，在整个模型里往往占到三分之二。所以做模型压缩、做参数效率优化的时候，盯着前馈层下手收益最大——这不是拍脑袋，是比例摆在那儿。
5.3 低秩分解：为什么两个瘦矩阵能顶一个大矩阵
一个d × d的线性层，如果它的变换矩阵本身"有效秩"很低，那就可以分解成d × r和r × d两个瘦矩阵相乘，参数量从d²降到2dr。r 取 8 或 16 的时候，压缩比能到几十倍。这不是近似得差不多就行，而是有明确前提的：原矩阵的奇异值衰减得快，丢掉小奇异值对结果影响很小。
顺着这个思路，就有了在主权重旁边挂一对小矩阵、只训练这一对的做法。原权重冻结不动，增量部分用低秩形式表达，训练参数量骤降，显存和存储压力跟着降下来。动手时有两个细节要注意：一是小矩阵的初始化，通常一个用随机、一个置零，保证训练开始时增量是零，不破坏原有行为；二是缩放系数，增量要乘一个系数再加到原输出上，这个系数直接决定改动幅度，设大了容易把原模型带偏。
5.4 推理端的两个常规操作
合并相邻线性层：如果两个线性层中间没有激活、没有归一化，它们可以直接合并成一个。W = W1 @ W2，b = b1 @ W2 + b2，推导就是把复合写开化简。合并之后少一次中间结果写回，带宽压力下降，延迟能降一截。前提是这两个层之间确实没有别的东西，一旦中间插了激活，就没法合并了，这也是为什么结构设计时会把"无激活的连续线性变换"当成一个优化点来看。
权重量化：把权重从高精度压到低精度整数，线性层是主要受益者，因为它的参数最多。这里的关键是缩放因子的粒度——整个矩阵共用一个缩放因子，误差会被大权重带偏；按输出通道各用一个，精度损失小很多，代价只是多存几十个浮点数。实测下来按通道量化通常能把精度损失控制在很小范围，是性价比很高的一步。
6. 常见问题与排查实录
6.1 形状类报错：三个高频现场
第一个现场是最后一维对不上。报错信息通常直接告诉你期望多少、实际多少，比如期望 512 收到 768，这种最好办，顺着往回找是哪一步的输出维度变了。常见的诱因是多个分支拼接之后维度翻倍、或者某个地方的隐藏维度改过但没同步改下游。
第二个现场是批量维被误当成特征维。比如输入是[128, 512]，你以为是 128 个样本各 512 维，实际是 512 个样本各 128 维，矩阵乘能跑通，结果全错。判断方法是打印形状，对着"最后一维必须是 in_features"这条规矩核一遍，不要靠记忆。
第三个现场是偏置形状写成批量形状。前面提过，这个不一定报错，广播会帮你"圆"过去，但算出来的东西是错的。凡是遇到"能跑但效果莫名其妙"的情况，先把所有线性层的偏置形状打印出来看一眼，成本极低。
6.2 数值类问题：loss 一上来就 nan
按发生概率排一下，大致是这几条：
| 现象 | 大概率原因 | 处理方向 |
|---|---|---|
| 第一个 batch 就 nan | 初始化尺度太大，激活值溢出 | 换成按输入维度缩放的初始化，检查是否有层被手动赋了大值 |
| 训练几百步后突然 nan | 学习率过大导致权重爆掉 | 降学习率、加梯度裁剪、开梯度累积 |
| loss 降到某处卡住不动 | 学习率与层宽不匹配，或者初始化太小 | 按 fan_in 重设初始化，调学习率 |
| 训练正常、推理结果离谱 | 归一化层或随机层没切到推理模式 | 检查模式切换 |
| 换成低精度后精度掉了 | 累加溢出或缩放因子粒度太粗 | 关键算子保留高精度累加，量化改成按通道 |
低精度这一条值得多说一句。半精度的表示范围比全精度窄很多，线性层的中间结果是大规模求和，很容易超出范围变成无穷。常见对策是在矩阵乘内部用全精度累加、只在存储时降精度，或者引入损失缩放，把梯度整体放大再缩回来，避免下溢成零。
6.3 一张随时能查的排查顺序表
我自己的习惯是固定按这个顺序走，比乱试快得多：
- 打印输入、权重、偏置、输出的形状，逐条核对三条规矩。
- 用一个小批量（比如 2 个样本）跑前向，看输出数值的量级，均值应该接近零，标准差在一个合理范围内，如果差了几个数量级，问题在初始化或前一层。
- 跑一次数值梯度校验，确认反向没写错。
- 把学习率降到原来的十分之一跑一百步，看 loss 是否还发散，用来区分"学习率问题"和"代码问题"。
- 检查精度设置，把可疑的地方临时切回全精度验证。
- 检查模式切换和随机性，确认训练和推理两条路径的差异。
提示：第 2 步是最容易被跳过、也最有价值的一步。绝大多数数值问题在第一次前向就能看出来，只是很多人直接开始训练，把问题藏进了 loss 曲线里。
7. 我自己踩过的坑和几条固定下来的习惯
说几个实打实踩过的。
第一个是关于维度的"想当然"。我曾经把一个序列模型的输入当成了[批量, 特征]，实际是[批量, 序列, 特征]，线性层没报错，因为最后一维刚好对上，训练也正常跑，但损失一直在某个水平晃，怎么调都不动。后来打印中间激活才发现，序列维被当成了批量维的一部分，模型实际上在做一场完全没有时序结构的运算。从那以后我养成一个习惯：每个线性层之前都打印一次形状注释，确认这一层到底在哪个维度上做映射。
第二个是初始化。有一次复现一个结构，怎么都到不了原文的水平，查了两天才发现问题出在我自己加的一个小模块上：那个模块里的线性层用了默认初始化，而它的输入维度特别大，输出方差被放大得厉害，整个网络的数值范围被它带偏了。给那一层单独调小初始化尺度之后，曲线立刻正常了。这件事让我意识到，默认初始化是针对"平均情况"设计的，你的特殊层需要特殊对待。
第三个是关于前馈层的参数占比。做一次压缩的时候，我先去砍注意力部分，砍完发现模型体积几乎没变，才反应过来参数大头在前馈层。后来做任何参数预算，第一步都是先把每一部分的参数列出来，按占比排序，从最大的开始动。
几条我固定下来的习惯，供参考：
- 新建一个线性层，立刻在旁边写一行注释说明输入输出维度，并且让注释和代码保持同步。这一行注释的价值远超它的长度。
- 训练前先跑一次"单批量过拟合"：拿两三个样本反复训，如果 loss 降不到接近零，说明模型或代码有问题，别急着上全量数据。
- 每次改结构，先算一遍预期参数量，再打印实际参数量，对不上就查。这个对比能抓出"忘了关偏置""权重没绑定上""多建了一层"这类问题。
- 涉及低精度、量化、合并这类优化，一定保留一条全精度的对照路径，逐层比对输出的相对误差，而不是只看最终指标。
- 把"相邻无激活的线性层可以合并"这条记在脑子里，无论是做推理优化还是读别人的结构设计，都能用上。
线性变换这东西，刚学的时候觉得它太简单，简单到不值得花时间；做得久了才发现，它是那种"越简单越容易出错"的部件。形状、初始化、精度、内存布局，每一处细节都能单独掀翻一次训练。把这几件事捋顺了，再去看那些花哨的结构图，你会发现骨架其实很朴素——一层一层地把数据搬到新的空间里去，中间偶尔折一下。剩下的，都是在这个骨架上做取舍。
