我第一次用 LSTM 做水文径流预报时，代码跑通了，但心里完全是虚的。hidden_size 到底该设多大？输入是三维张量，三个维度分别代表什么？输出到底应该取整个序列还是最后一个时间步？这些参数我搜了很多资料也没人系统讲透，只能一边看源码一边试错。后来在时间序列预测、文本情感分析几个项目里反复折腾，才把 LSTM 的输入、输出、hidden_size 这套参数体系彻底理顺。这篇博客就是把这些经验写透，给还在被 Pytorch、Keras 两套维度规则绕晕的你一份可直接对照的参考。
不管你是刚入门深度学习的新手，还是已经在业务里用过 LSTM 但总觉得参数没吃透的开发者，这篇内容都能帮你少走弯路。我不会堆一堆公式就结束，而是用实际任务里的输入样例和可运行代码，把每个参数为什么这么设计讲清楚。看完之后，你自己就能回答“hidden_size 设多少、输入怎么拼、输出怎么取”这三个问题。
1. 回头看看我第一次用 LSTM 时踩的 hidden_size 大坑
1.1 把 hidden_size 当成“层数”的翻车现场
我记得那会儿处理的是站点径流预测，手上只有一条日径流量序列。我在网上找的示例代码写着 LSTM(64)，我以为是“64 层网络”，吓得以为这模型深得离谱。后来把参数改成 LSTM(2)，想看看是不是跑得更快，结果模型输出维度突然变成 2，我才意识到这里的数字根本不是层数，而是隐状态向量的宽度。层数由单独的参数 num_layers 控制，Keras 里通常用 Sequential 嵌套或在 LSTMCell 外面包 RNN 来实现，而不是在 LSTM 构造函数里随便填一个大数字。
更尴尬的是，我当时为了验证输出，还打印过 model.summary()。里面那一大堆 Param 把我绕晕了，根本分不清哪部分来自 LSTM，哪部分来自后面的 Dense 层。后来我算明白了参数公式，才理解 64 和 2 对参数量影响是数量级的差别。这个“把 hidden_size 当成层数”的误会在 Pytorch 里也一样常见，只是 Pytorch 的报错更直接：你把 num_layers 设成 2，但没有正确初始化 h0，它就会告诉你 shape 不匹配，逼着你去理解维度。所以我一直觉得，踩坑不是坏事，早踩早理解。
1.2 一个 LSTM 单元里到底在发生什么：门控、细胞状态与隐状态
LSTM 单元的核心思路是给普通 RNN 加一条“传送带”，也就是细胞状态 c_t。这条传送带贯穿所有时间步，只经过少量线性操作更新，所以梯度能传得比较远，缓解了长序列里的梯度消失问题。每个时刻，网络会用三个门来决定怎么修改这条传送带上的内容：遗忘门、输入门、输出门。
具体来说，给定当前输入 x_t 和上一时刻的隐状态 h_{t-1}，LSTM 会同时计算出四组向量：遗忘门 f_t、输入门 i_t、候选状态 g_t 和输出门 o_t。遗忘门告诉网络“过去的信息应该忘掉多少”，输入门和候选状态决定“新信息该写入多少”，输出门决定“当前从细胞状态里取出多少作为这一时刻的隐状态 h_t”。最终 h_t 会作为当前时刻的输出，同时也作为下一时刻的输入之一继续参与计算。
这几个向量的长度，全部都是 hidden_size。换句话说，hidden_size 不是某一层特有的，而是整个 LSTM 单元内部所有向量和矩阵的公共维度。门控向量要和细胞状态、隐状态逐元素相乘，维度自然必须一致。你可以把它理解成每个时间步都有一块长度为 hidden_size 的“工作台”，台面越宽，能同时摆下的备忘记事就越丰富，但重量（参数量）也越大。
1.3 为什么这些向量全是 hidden_size 维，而不是别的数
很多人刚学时会有个疑问：为什么门控向量一定是 hidden_size 维？能不能把遗忘门设计成 8 维、隐状态设计成 64 维？理论上你可以设计出不同的维度，但那就没法做逐元素乘了，网络结构会变得极其复杂且难以训练。标准的 LSTM 选择让所有中间向量都跟隐状态同宽，这样每个元素天然对齐，计算简洁，也方便 Pytorch 用矩阵乘法一次性算出四个门。你只需要知道“宽度”是多少，剩下的维度都由它决定。
我自己在项目里常用的做法是：先打印一个 dummy 输入的 output.shape，用最小用例把维度跑通，再往里面塞真实数据。因为你纸上推得再明白，第一次写代码还是容易在维度上翻车。后面第 5 节我会给一段可以直接跑的最小验证代码，你跑一遍就能把这些关系刻进脑子里。
2. 输入张量：每个维度都有明确的责任人
2.1 三维张量 (batch, seq_len, input_size) 的三层含义
LSTM 输入总是三维，因为要同时表达“多少个样本、每个样本多长、每个时间步带多少特征”。下面展开说：
- batch：批量大小，一次前向传播同时处理的序列数量。它和模型可学习参数无关，只影响计算效率和显存占用。
- seq_len：序列展开的时间步数。水文预测里是过去多少天，NLP 里是句子有多少个 token，语音任务里是帧数。
- input_size：每个时间步喂进去的特征个数。它必须在构建模型时固定下来，因为 LSTM 的输入权重矩阵第一维就是 input_size。
Pytorch 默认维度顺序是 (seq_len, batch, input_size)，Keras 则是 (batch, seq_len, input_size)，这是最容易踩坑的地方。我建议在 Pytorch 里统一用 batch_first=True，这样维度顺序和 Keras 保持一致，减少切换框架时的脑负担。很多人忽略了这个参数，结果从 Keras 迁到 Pytorch 时，同样的数据竟然报维度错误，其实就是轴顺序换了。
2.2 拿水文径流预报举例：把雨量、气温、上游水位拼成一张表
假设要预测某水文站明天的径流量。历史数据里每天有 3 个特征：降雨量、气温、上游水位。我们按过去 30 天作为窗口来预测明天，那么每个样本的形状是 (30, 3)，一个批次 32 个样本就是 (32, 30, 3)。
数据处理时，一般会让窗口滑动：用第 1 到 30 天预测第 31 天的径流，再用第 2 到 31 天预测第 32 天，这样构造出大量训练样本。这里有个容易犯的错：input_size 是每个时刻的特征数，不是窗口长度也不是预测目标。很多人把 30 天当成 input_size 填进去，模型一跑就傻眼。这个例子里，3 才是 input_size；30 属于 seq_len；明天那个径流量是标签，不进输入。
遇到“输入过长”问题时，水文和气象序列一般不会硬塞超长历史，而是选择一个合理窗口。比如你拿 10 年的日数据想一口气全塞进去，seq_len 会有几千，LSTM 即使有门控也很难有效利用这么久以前的信息，而且训练明显变慢。工程上常把窗口固定在 30 到 90 天，或通过滑动窗口采样来覆盖长期模式。这些都是经验值，需要结合数据周期来定，比如流域产流对前期降雨可能有两个月滞时，那你窗口至少得有 60 天以上。
2.3 文本情感分析里的输入：词向量、序列长度和截断策略
如果做中文情感分析，输入不是“一句话”，而是一串索引，再经过 Embedding 变成一个三维序列。比如“这部电影真好看”，分词成 [“这”, “部”, “电影”, “真”, “好看”] 后，每个 token 映射到 256 维的向量，则一个样本 shape 是 (5, 256)，批次 64 则输入 (64, 5, 256)。这里的 input_size 就是 256，即词向量维度。
为什么不能直接把单词 ID 喂给 LSTM？因为 ID 之间的数值距离没有语义意义，“电影”是 15，“真”是 156，这不代表它们相距 141。Embedding 层学出来的向量可以把语义相近的词放到相邻区域，再把这种“软编码”交给 LSTM。如果你用预训练词向量比如 Word2Vec、GloVe，那 input_size 就是这些词向量的维度；如果用随机 Embedding 从零训练，input_size 自己设，常见的 100、128、256 都有人用。
文本里的“输入过长”比时间序列更尖锐。数据集里句子长短不一，必须截断或填充到固定长度 max_len。填充一般用 0，同时要结合 mask 让 LSTM 忽略无意义的 padding。截断位置也讲究：做情感分类时，如果“但是后面才是重点”，只保留头部可能错失关键信息；只保留尾部又可能丢掉铺垫。我自己偏向在数据分布允许时用“头 + 尾”拼接的方式，把两边都保留一段，效果往往比单边截断稳。要注意的是，不是说 max_len 设得越大越好，LSTM 处理几百甚至上千 token 时，即使不会梯度消失，早期信息也被稀释得差不多了，这就是为什么后来很多任务转向 Transformer。
3. hidden_size：它决定了网络每一时刻能“记多少东西”
3.1 从公式看 hidden_size 如何贯穿所有门控计算
LSTM 的公式可以写成四组线性变换加激活：
f_t = sigmoid(W_f · [h_{t-1}, x_t] + b_f) i_t = sigmoid(W_i · [h_{t-1}, x_t] + b_i) g_t = tanh(W_g · [h_{t-1}, x_t] + b_g) o_t = sigmoid(W_o · [h_{t-1}, x_t] + b_o) c_t = f_t * c_{t-1} + i_t * g_t h_t = o_t * tanh(c_t)[h_{t-1}, x_t] 是一个长度为 hidden_size + input_size 的拼接向量。每个 W 的尺寸是 hidden_size × (hidden_size + input_size)，b 的尺寸是 hidden_size。所以你会发现，hidden_size 同时决定了四个门的宽度、细胞状态的宽度和隐状态的宽度。它一变，整个单元里的矩阵全都得跟着变。
这也解释了为什么 hidden_size 对模型容量的影响远大于 seq_len 和 batch。seq_len 只是循环次数，batch 是并行数量，它们不改变单步网络结构；而 hidden_size 直接决定单步里做多少矩阵运算。从计算图角度看，每个时间步的矩阵乘法核心就是 (hidden_size + input_size) 维向量到 hidden_size 维向量的映射，这个映射的“面积”就是 hidden_size 的平方量级。
3.2 参数总量到底怎么算：一个公式看清 W 和 b 的规模
一个标准单向单层 LSTM 的可训练参数量是：
params = 4 × hidden_size × (input_size + hidden_size + 2)这里的 4 对应遗忘门、输入门、候选状态、输出门四组权重；每个门都有一份输入权重和隐状态权重；+2 是两个 bias。如果没有 bias，就是 4 × hidden_size × (input_size + hidden_size)。Pytorch 默认 bias=True，所以多数时候直接用带 2 的版本。
举两个实际数字：input_size=3，hidden_size=64，params = 4×64×(3+64+2)=17664，还不到两万。但如果 input_size=256，hidden_size=256，params = 4×256×(256+256+2)=526336，一下子五十多万。可见 hidden_size 从 64 提到 256，参数会成平方级别增长，因为你同时增大了输入到隐层和隐层到隐层的两组矩阵。
我在做水文预测时实测下来的体感是：hidden_size=64 已经能拟合很多中小流域的径流曲线；涨到 256 后训练时间翻倍，但精度未必提升，有些数据上反而更容易过拟合。所以不要觉得 hidden_size 越大越好，它是容量，也是负担。做小数据集时尤其要克制，别一上来就 512。
3.3 h_t 和 c_t 的区别：短时记忆和长时记忆如何配合
很多教程把 h_t 和 c_t 混着讲，导致初学者以为它们是同一个东西。其实两者分工不同：c_t 是 LSTM 内部专门维护的长期记忆，更新时只做门控线性组合，梯度可以经过很多时间步传回来而不衰减得太厉害；h_t 则是对外输出的工作记忆，每个时间步都从 c_t 里“取一段”出来，同时作为下一时刻的输入参与门控计算。
业务上的类比：c_t 像你的长期笔记本，重要数据写在里面，平时不轻易改动；h_t 像当前屏上显示的那几行，既要给下游看，也要拿来翻下一页。做预测时，大多数情况下我们直接拿最后的 h_t 或 c_t 去接分类器或回归头，h_t 更方便，因为它是网络对外承诺的“摘要”。
理解这个区别对调参有帮助。比如你在做超长序列分类时，如果明显觉得模型“记不住开头”，可以试试让下游使用 c_t（在 Pytorch 里把返回的 c_n[-1] 取出来）而不是 h_t。c_t 毕竟是长期信息通道，在某些长程依赖任务上实用效果会好一些。这个技巧不是所有资料都会提，但我实测在部分任务里确实有效，代价是你得手动多写一行索引代码。
3.4 hidden_size 调大调小的代价，和我用的经验区间
调大 hidden_size，表达能力上升，能捕捉更复杂的模式；代价是参数量平方级上涨、训练更慢、对小数据集更容易过拟合。调小 hidden_size，训练快、泛化往往更稳，但容量不够时 loss 会一直下不去，网络只是在“硬记”而不是“归纳”。
我的经验取值：数据量只有几千条时，hidden_size 从 32 到 128 之间试；样本几十万甚至更多时，再考虑 256 或 512。文本分类里 hidden_size 128 到 256 是常见起手；小规模时间序列预测 64 对我来说够用。调参时，先固定 batch 和 seq_len，只扫 hidden_size 和 dropout，观察验证集 loss，而不是只看训练集表现。
如果 LSTM 后面接了线性层，要注意线性层的输入维度必须等于 hidden_size，或者等于 num_directions × hidden_size（双向时）。hidden_size 一改，下游 Dense 的 in_features 也要同步改，这是经典的“改了一个数，崩了一片 shape”的来源。我见过很多次有人只改 LSTM 参数不更新全连接层，然后开始怀疑人生，其实问题就是这么简单。
4. 输出到底怎么取？return_sequences、h_n、c_n 的关系
4.1 PyTorch 的输出形态和 Keras 的 return_sequences 是一回事
Pytorch 里 LSTM 前向返回两个对象：output 和 (h_n, c_n)。output 形状是 (seq_len, batch, num_directions × hidden_size)，它包含每个时间步最后一层输出的隐状态；h_n 的形状是 (num_layers × num_directions, batch, hidden_size)，它只保留每个方向最后一个时间步的隐状态；c_n 形状和 h_n 一样，是最后的细胞状态。
Keras 里的 LSTM 默认 return_sequences=False，直接把最后时刻的输出给出来，形状 (batch, hidden_size)；设为 True 后返回每个时刻的输出，形状 (batch, seq_len, hidden_size)。本质上这两种框架是在用不同姿势表达同一个东西：Pytorch 默认把完整序列输出都给你，最后一步要自己索引；Keras 默认只留最后一步，要全部输出得显式声明。我用一张表总结对应关系：
| 需求 | PyTorch 方式 | Keras 方式 |
|---|---|---|
| 每个时间步输出 | output 直接用 | return_sequences=True |
| 最后一个时间步隐状态 | h_n[-1] 或 output[-1]（单层单向） | return_sequences=False |
| 最后的细胞状态 | c_n[-1] | 需要自定义或用后端函数取 |
单层单向 LSTM 下，Pytorch 的 output[-1] 和 h_n[-1] 严格相等。但多层或双向时，这两者关系会变复杂，别想当然。我见过不少人在双向模型里直接用 output[-1] 接分类层，结果只取了反向分支的最后一个状态，正向信息等于没用到。
4.2 预测下一个值 vs 序列标注：取最后一个时间步还是每个时间步
如果任务是“用过去 30 天径流预测明天流量”，这是典型的多对一，解码时只需最后一个步的隐状态。Pytorch 里一般取 h_n[-1]，再接一个线性层把 hidden_size 映射到 1；Keras 里 LSTM 默认 return_sequences=False 就是为这种场景设计的。之所以取最后一步，是因为 LSTM 在最后时刻已经把整个序列的信息压缩进了 h_t 和 c_t，我们需要的“摘要”就在那里。
如果任务是给句子中每个词打标签，比如词性标注或实体识别，那每个时间步都需要一个输出。这时 Pytorch 直接用 output 的每个时间步接分类头；Keras 需要设 return_sequences=True。千万不能只取最后一步，否则除了最后一个词，其它词的预测结果全被丢掉了。
如果是编码器-解码器结构，LSTM 通常作为编码器把整个输入序列编码成一个向量（取 h_n[-1] 或 c_n[-1]）作为解码器的初始状态；解码器再逐时间步生成输出。这里输出怎么取取决于你下一步接什么模块，但核心判断标准只有一个：我对齐的目标是在“每个时间步”还是“唯一一个时刻”。
4.3 多层与双向 LSTM 对输出形状的影响
加深层数时，中间层需要拿到完整的时间步输出才能继续往下算，所以内部不会因为你只需要最后一步就省去中间计算。h_n 的第一维是 num_layers，每一层一个隐状态向量；取最后一层用 h_n[-1]，而不是 h_n[0]。第一次写多层 LSTM 的人经常踩 h_n 索引的坑，输出 shape 报错信息里会明确告诉你“Expected hidden size [2, batch, hidden_size]”，看到 [2] 就知道是两层的问题。
双向 LSTM 会在每个时间步同时跑正向和反向，output 最后一维变成 2 × hidden_size，前一半是正向，后一半是反向。h_n 形状变成 (2 × num_layers, batch, hidden_size)，顺序是正向第 1 层、反向第 1 层、正向第 2 层、反向第 2 层……如果你要拿最后一层的输出做分类，千万别直接写 h_n[-1]，那样取到的是最后一层反向状态的末尾，而不是“最后一层正向 + 反向”。
比较稳的写法是：双向时把 output[:, -1, :hidden_size] 和 output[:, 0, hidden_size:] 拼起来，取最后时间步正向和第一个时间步反向；或者直接接一个全连接，让网络自己学怎么组合 output 的最后一维。显式取方向确实麻烦，工程上我更常用后一种省事做法，实测效果一般也不差。
5. 用一段可运行的代码验证参数对张量形状的影响
5.1 最小复现代码：打印每一步的 shape
说了这么多，不如跑一段代码直接看形状。下面用 Pytorch 搭一个两层双向 LSTM，故意把输入维、隐藏维都设得很小，方便你观察每个张量 shape 的变化。这种最小复现法是排查一切维度问题的第一步，我在带新同事的时候，也总会让他们先把这段代码跑通，再开始碰业务数据。不要嫌例子小，正是这种小例子才能把每个参数的因果关系暴露得清清楚楚。
import torch import torch.nn as nn seq_len, batch, input_size, hidden_size = 5, 2, 3, 7 x = torch.randn(seq_len, batch, input_size) lstm = nn.LSTM(input_size, hidden_size, num_layers=2, bidirectional=True) output, (h_n, c_n) = lstm(x) print("output:", output.shape) # (5, 2, 14) print("h_n:", h_n.shape) # (4, 2, 7) print("c_n:", c_n.shape) # (4, 2, 7)输出结果里 output 最后一维是 14，因为双向且 hidden_size=7，2×7=14；h_n 第一维是 4，因为两层双向 2×2=4。这行代码跑通后，你对前面讲的“最后一维跟着 hidden_size 走”“num_layers 会影响 h_n 第一维”就有了直观印象。
5.2 改变 hidden_size、batch_first、num_layers 后，张量怎么变
我建议你自己做几个小实验，改一个参数打印一次，记录变化规律。下面直接给结论：
| 改动 | 输入 | output | h_n/c_n |
|---|---|---|---|
| hidden_size 7 -> 16 | 不变 | (5, 2, 32) | (4, 2, 16) |
| batch_first=True | (2, 5, 3) | (2, 5, 32) | (4, 2, 16) |
| num_layers 2 -> 1 | 不变 | (5, 2, 14) | (2, 2, 7) |
| bidirectional=False | 不变 | (5, 2, 7) | (2, 2, 7) |
batch_first=True 后，input 和 output 的第一个维度都变成了 batch，但 h_n 不跟着变，仍然是 (num_layers×num_directions, batch, hidden_size)。很多人在这一步搞混：以为 batch_first=True 之后 h_n 也会变成 (batch, ...)，实际不会。Pytorch 官方设计里，h_n/c_n 的布局始终是层/方向优先。
5.3 常见报错和排查方法：维度对不上怎么办
我在带人时总结过几个高频报错，基本覆盖了 90% 的 LSTM 维度问题：
- 报错“Expected hidden[0] size (2, 8, 64), got (2, 4, 64)”。这通常是 num_layers 或者 batch 对不上。你没给初始 h0，Pytorch 会在内部用输入 batch 创建全零 h0；如果你手动初始化 h0 时维度写错了，就会报这种 shape 不匹配。
- 报错“mat1 and mat2 shapes cannot be multiplied”。一般是 LSTM 输出最后一维和后面线性层的 in_features 对不上，双向时尤其容易漏乘 2。
- 报错说输入需要 3 维，你只给了 2 维。如果只有一条序列，可以用 unsqueeze(0) 或 unsqueeze(1) 补一个维度，具体补哪里要看你的框架默认轴顺序。
排查思路很简单：从模型入口开始，每个模块后面打印 shape，找到第一个和你预期不一样的模块。不要凭肉眼盯代码，打印是最快的。Keras 用户可以在每层后面用 model.summary() 看输出形状，但 Pytorch 没有现成 summary，打印 shape 几乎成了基本功。你把这套方法练熟，以后换任何新模型都不怕。
6. 理解了 LSTM 参数，再看 Transformer 的 d_model 和序列长度
6.1 d_model 和 hidden_size 其实是一对“表亲”
现在看 Transformer，你会发现很多概念是对得上的。Transformer 里 d_model 是每个 token 经过 Embedding 后的向量维度，也是每层自注意力和前馈网络的公共维度。它和 LSTM 的 hidden_size 很相似：都是模型容量的核心旋钮，都决定了参数量和表示宽度。如果把模型比作一家公司，hidden_size 或 d_model 就是“工位宽度”，决定每个人桌上能放多少资料，LSTM 的工位按时间流转，Transformer 的工位按 token 摆放。
输入输出也一样。Transformer 的输入通常是 (batch, seq_len, d_model)，和 Keras 的 LSTM 输入顺序完全一致；Pytorch 的 Transformer 默认顺序也是 (seq_len, batch, d_model)，同样可以用 batch_first 调整。所以你把 LSTM 的输入三维理解透了，学 Transformer 的维度几乎不用重新学。
6.2 注意力机制为什么不需要按时间步递推，但依然要管理序列长度
LSTM 只能在时间上一步一步推进，每走一步都要等上一步的结果，计算路径长度等于 seq_len，复杂度是线性的。Transformer 的自注意力直接把一个序列里任意两个位置都建立连接，每个位置都同时看所有位置，所以并行度大幅提升，也更容易建模长距离依赖，但复杂度变成 seq_len 的平方。
这也带来了新的“输入过长”问题。序列太长时，自注意力的矩阵会爆炸式增长，所以工程上要考虑截断、滑动窗口、稀疏注意力等方法。从这个角度看，LSTM 里“输入过长怎么办”的经验并没有过时：先理解网络对长度的处理方式，再决定是否切割、切多长、切了以后信息会不会丢，这个思路在 Transformer 时代同样适用。
6.3 我的选择建议：什么时候继续用 LSTM，什么时候换 Transformer
我在实际项目里的选择标准很朴素：样本量不大、推理对延迟有要求、任务偏强序列相关的时候，先用 LSTM，因为它结构简单、参数量可控、可解释性强，调参也直观。水文径流这类任务，很多时候数据量就几千条，用 64 或 128 的 LSTM 就能给出稳定基线，没必要一上来就搬大模型。
反过来，如果是大规模文本、需要全局上下文建模、有预训练条件或能加载现成预训练权重，Transformer 家族是更自然的选择。它不需要像 LSTM 那样一行一行读，但代价是显存和训练成本。
我个人有段时间一看到序列任务就想上 Transformer，后来在小数据集上反复吃了亏才发现，很多场景里 LSTM 依然能打。参数理解到位之后，选型就不再是看哪个新用哪个，而是看哪个模型对数据形态和约束更合适。
