1. 为什么传统网络搞不定序列数据——RNN的出场逻辑
1.1 序列数据到底特殊在哪
先说结论：我们平时用的标准全连接网络或者卷积神经网络，处理图像、单条结构化样本确实很顺手，但一到序列数据就露怯了。吴恩达老师在第一周课程开头花了整整一小节铺垫这件事，当时我还觉得有点啰嗦，直到自己动手写代码才明白，序列数据反常识的地方太多了。
序列数据有三个核心特征。第一点是长度不固定，一段英文评论可能十几个词，一篇财报可能几千个词，如果用固定尺寸的输入向量，要么疯狂padding到统一长度浪费算力，要么硬截断丢失信息。第二点是顺序敏感，同样是“狗咬人”和“人咬狗”，词向量完全一样，全连接网络根本区分不了这两种截然不同的语义关系。第三点是存在长期依赖，决定一句话含义的关键信息可能藏在几十个时间步之前，比如“The cats, which ... ate the fish, were full” 这种长句子，前面的复数形式cats直接决定了后面要用were，相隔了十好几个词。
这个时候RNN的价值就体现出来了。它的设计哲学很朴素：既然序列是一步步产生的，那我就一步步读，每一步都维护一个“记忆状态”，这个状态像一个小型摘要，把过去看到的信息压缩成一个固定维度的向量，然后带着这个记忆去处理当前输入。正是因为这种结构，RNN对序列长度没有硬性限制，天然能感知顺序，理论上也具备捕捉长期依赖的能力——注意我说的是“理论上”，实际怎么做得到是后面LSTM、GRU要解决的事。
1.2 标准神经网络的三个致命短板
如果你之前学过吴恩达的《神经网络和深度学习》那门课，一定记得他把网络搭建讲得特别清晰，前向传播、反向传播、超参数调优，一套流程走下来非常顺。但到了序列模型这一周，他的讲课节奏变了，开头就在反复强调“标准网络不适用于序列数据”，原因可以归结为三个。
第一个问题是输入输出维度必须固定，这不灵活。你要训一个情感分类器判断影评是正面还是负面，每条影评长度不一样，你没法直接塞给全连接层。选择截断或补齐都会引入额外噪声，而且1000词长度的影评补齐到统一长度后，前面一大片padding区域会稀释真正的语义特征。
第二个问题是特征无法跨位置共享。假设一首诗的第一句和第二句中都有“月亮”这个词，标准网络把它当成两个完全独立的特征去学习，因为输入的不同位置对应的是不同的权重。RNN则不同，它在每个时间步用的是同一套权重矩阵，相当于“位置无关”地抽取特征，这跟卷积网络里权重共享的思路如出一辙，只是把二维空间共享换成了时间维度共享。
第三个问题是缺乏记忆机制。标准网络没有“状态”这个概念，每一个输入都是孤立的样本，处理T个时间步的数据时，模型完全不知道第1步发生了什么会对第10步产生什么影响。这个短板直接扼杀了它在语言建模、机器翻译这类任务上的可能性。
我当时看到这里最大的感受是：RNN与其说是一个新的网络结构，不如说它是在全连接网络的基础上加了一个“时间维度的循环”。你看它的结构图，从右往左展开之后，其实还是一长串共享权重的前馈网络，只不过每个节点多了一条来自上一个时间步的输入边。后面学BPTT（随时间反向传播）的时候，你会发现它本质上就是在展开后的网络上做反向传播，连算法都和普通BP差不多。
2. RNN的核心结构与记号体系
2.1 从单个样本的输入输出说起
吴恩达这节课的记号体系非常严谨，我一开始觉得字母太多记不住，后来发现只要把记号弄明白了，整个RNN的代码实现就是水到渠成的事。先统一说法：我们用 (x^{\lt t\gt}) 表示第 (t) 个时间步的输入向量，它是一个列向量，维度记作 (n_x)。在自然语言处理场景里，如果用的是词嵌入（Word Embedding），这个维度通常是100、300甚至更高；如果用最简单的one-hot编码，那维度就是词汇表大小。
隐藏状态用 (a^{\lt t\gt}) 表示，这是整个RNN的灵魂所在。(a^{\lt t\gt}) 可以看作网络在看完前 (t) 个输入后形成的“摘要”，它是通过当前输入 (x^{\lt t\gt}) 和上一个时间步的隐藏状态 (a^{\lt t-1\gt}) 共同计算出来的，维度记作 (n_a)。(n_a) 是一个自己定的超参数，常见取的64、128、256都有，太小了表达力不足，太大了容易过拟合且训练变慢。
预测输出用 (\hat{y}^{\lt t\gt}) 表示，维度取决于任务类型。如果是每个时间步都要输出一个标签（比如词性标注），那么 (\hat{y}^{\lt t\gt}) 的维度就是标签类别数，最终通过softmax得到概率分布；如果是只在最后一个时间步输出（比如情感分类），那就只有 (T_x) 时刻那一次输出。
这里还有个很容易踩的坑：(T_x) 和 (T_y) 不一定相等。在语言模型任务里，输入“猫坐在垫子上”五个词，输出是预测的每个位置下一个词的概率，所以 (T_x = T_y)，每个位置都有输出。但在翻译任务里，源语言句子长度和目标语言句子长度通常不一样，这就引出了后面要学的Encoder-Decoder架构。吴恩达第一周主要讲 (T_x = T_y) 的情况，把基础打牢了再上难度。
2.2 时间步展开与权重共享
初学者看RNN的结构图最容易懵的是那个“折叠”的单元：一条线从A连出一个箭头指向自己，看起来像自己跟自己循环。实际上把它在时间轴上展开，就变成一个链条。展开后你会发现，每个时间步长得一模一样，就像是把一个细胞复制粘贴了 (T_x) 份。
为什么可以复制粘贴？因为权重共享。RNN里有三个核心权重矩阵：(W_{aa}) 负责把上一个隐藏状态 (a^{\lt t-1\gt}) 映射到当前隐藏状态，(W_{ax}) 负责把当前输入 (x^{\lt t\gt}) 映射到隐藏状态，(W_{ya}) 负责把隐藏状态映射到输出。这三组矩阵在任何时间步都使用同一份参数。
权重共享的意义怎么强调都不过分。第一是参数量大幅减少，如果不共享，序列长度是100就意味着有100组不同的权重，模型参数量直接膨胀100倍，小数据集上根本训不动。第二是让模型具备长度泛化能力，训练时见过的句子最长20个词，测试时来了一个25个词的句子，因为权重是同一套，模型照样能处理。第三是在语义上更合理，同一个位置的词不管出现在开头还是结尾，负责编码它的权重应当是一致的，否则“月亮”在句子不同位置就被当成不同东西了。
我后来在NumPy里纯手写RNN前向传播的时候，对这组记号的理解又上了一个台阶。你只要把输入序列整理成形状为 ((n_x, T_x)) 的矩阵，然后写一个for循环遍历每个时间步，每一步做同样的矩阵乘法、加偏置、过激活函数，前向传播就算完成了。代码甚至不超过十行，但背后的逻辑足够你消化一整周。
3. RNN前向传播的完整推导
3.1 激活函数与隐藏状态的更新
课程里吴恩达给出的标准前向传播公式是两个。第一个是隐藏状态更新：
[ a^{\lt t\gt} = \tanh(W_{aa} \cdot a^{\lt t-1\gt} + W_{ax} \cdot x^{\lt t\gt} + b_a) ]
第二个是输出计算：
[ \hat{y}^{\lt t\gt} = \text{softmax}(W_{ya} \cdot a^{\lt t\gt} + b_y) ]
隐藏状态公式里的激活函数在标准RNN中通常用 (\tanh)，原因是它输出范围在-1到1之间，梯度非饱和区间比较大，比sigmoid更容易训练。ReLU在这个位置不常用，因为RNN本身的循环结构容易放大ReLU带来的无界输出，导致数值发散，训练更容易炸掉。
(\tanh) 把 (W_{aa}) 和 (W_{ax}) 的变换结果压缩到(-1, 1)区间，这样做有一个很实际的工程意义：它防止了隐藏状态在长序列中无限制地增长。你想，每个时间步都在做矩阵乘法，如果激活函数是无界的，几百步之后数值要么爆炸到NaN，这不就是“梯度爆炸”的一种表现形式么。
如果我们要写一个完整的单时间步前向传播，在任意深度学习框架里的操作都是差不多的：
def rnn_cell_forward(xt, a_prev, parameters): Wax = parameters["Wax"] Waa = parameters["Waa"] Wya = parameters["Wya"] ba = parameters["ba"] by = parameters["by"] a_next = np.tanh(np.dot(Waa, a_prev) + np.dot(Wax, xt) + ba) yt_pred = softmax(np.dot(Wya, a_next) + by) return a_next, yt_pred注意维度是硬伤，很多人在这一步直接卡住。假设 (n_a = 100)，(n_x = 50)，那么 (W_{ax}) 形状是(100, 50)，(W_{aa}) 形状是(100, 100)，拼接矩阵 ([W_{aa} \mid W_{ax}]) 形状就是(100, 150)。另一种更高效的做法是把状态和输入在行的方向上拼接成一个(150, 1)的大矩阵，一次矩阵乘法搞定，这个技巧在作业里会看到。
3.2 损失函数与按时间步求和
对于每个时间步 (t)，如果任务是多分类（比如预测词表中下一个单词），单个时间步的损失用交叉熵：
[ L^{\lt t\gt} = - \sum_{k=1}^{V} y_k^{\lt t\gt} \log \hat{y}_k^{\lt t\gt} ]
其中 (V) 是词汇表大小，(y_k^{\lt t\gt}) 是真实标签的one-hot向量第 (k) 个分量，(\hat{y}_k^{\lt t\gt}) 是模型输出的概率分布第 (k) 个分量。
整个序列的总损失就是所有时间步损失的平均或求和：
[ L = \sum_{t=1}^{T_x} L^{\lt t\gt} ]
这个求和是反向传播里梯度累计的关键。你可以把RNN想象成在每一个时间步都会产出一个小损失，然后把这些小损失加起来作为一个大序列的总损失。梯度在回传时，既要从总损失往当前时间步的输出层传，还要跨过时间步边界沿着隐藏状态往前传，这是BPTT的核心逻辑，后面专门展开。
3.3 一个玩具级的姓名生成示例
吴恩达在课里反复提恐龙名字生成的示例，虽然第一周课程视频里只是一闪而过，但编程作业里那个“Dinosaurus Island”项目让我印象特别深。整个任务的逻辑是这样的：把一堆恐龙名字当作序列样本，每个名字是一个字符序列，比如 “Apatosaurus”，模型的目标是学习字符级别上的概率分布，然后随机采样生成新的“看起来像恐龙”的名字。
这个任务用到的是字符级RNN，词汇表就是字母表加空格加结束符，总共才27个符号。模型在每个时间步读一个字符，预测下一个字符的概率分布。训练结束后，你可以从起始符开始，不断把上一个时间步预测出的字符采样结果作为下一步输入，直到生成结束符。
我当时做这个作业最大的收获是理解了“训练”和“采样”两个阶段对输入的处理完全不同。训练时输入是真实序列，无论模型预测得多离谱，下一步都喂真实字符；采样时输入是模型自己上一步的预测输出，误差会被一步步累计放大。所以采样阶段经常会看到模型生成出看起来结构合理但内容荒谬的序列——这正是概率分布抽样该有的效果，吴恩达管这叫“random sampling”，是生成模型里一直沿用的做法。
4. RNN能做的几类任务——课程里的架构全景图
4.1 从one-to-one到many-to-many
吴恩达在这一周后半节课里用一张大图总结了RNN能处理的几类典型任务，这个结构特别适合用来建立全局认知。
标准的“一对一”（one-to-one）其实就是普通全连接网络，没有序列结构，不在讨论范围内。真正有价值的是后面几种。
一对一（many-to-one）指的是输入是一个序列，但只在最后输出一个结果。典型例子是情感分类，把一段影评的每个词依次输入RNN，只看最后一个时间步的输出。因为隐藏状态已经汇总了整个序列的信息，最后一个状态可以作为整段文本的向量表示。
一对多（one-to-many）是输入一个触发信号，后续连续生成多个输出。最典型的例子是图像描述（Image Captioning）：把一张图片经过CNN提取成特征向量，作为RNN的第一个输入，然后模型逐字生成一句描述。这个“以图片特征作为启动输入”的思路在后面学注意力机制时会进一步演化。
多对多且同步（many-to-many with (T_x = T_y)）是输入输出长度一致的情况，每个时间步都对应一个输出。典型应用是视频帧级别的动作识别：每一帧对应一个动作标签；更常见的场景是词性标注，句子里的每个词都标注词性。
多对多且不同步（many-to-many with (T_x \ne T_y)）是最复杂的结构，典型代表是机器翻译。源语言和目标语言的句子长度基本不会一样长。吴恩达给出的解决方案是先让编码器读完整句源语言，生成一个语义向量，再让解码器从这个向量出发逐步生成目标语言，这就是Encoder-Decoder架构的雏形。
课里把这个图放在“Examples of RNN Architectures”那个小节里，配上他自己画的那些方块图，第一遍看觉得挺啰嗦，但后来查Transformer的论文时，我经常翻回来对照这个图，因为很多现代架构的任务类型划分其实都能追溯到这张图。
4.2 语言模型与序列采样
语言模型是RNN最经典的应用之一，也是吴恩达课程里讲得最透的一个环节。所谓语言模型，就是计算一个句子出现的概率 (P(y^{\lt 1\gt}, y^{\lt 2\gt}, ..., y^{\lt T_y\gt}))。它有什么用？机器翻译里，你生成了几个候选翻译，语言模型可以帮你挑出概率最高的那个；语音识别里，多个发音相似的句子，语言模型帮你选出语法上更合理的那一个。
训练过程是这样：输入一个被right-padded的序列，比如“Cats average 15 hours of sleep a day ”，把第一个词“Cats”喂进去，预测第二个词“average”的概率；然后输入“Cats average”，预测第三个词“15”的概率，以此类推。每一时间步的目标是预测下一个词是谁，所以语言模型本质上是“根据前文猜后文”。
编程实现时你会体会到序列数据最真实的痛点：不同句子的长度不同，比如“Cats sleep ”和“Cats average 15 hours of sleep a day ”长度差了四倍，如果batch里两句话一起训练，就必须在短句后面补齐padding。吴恩达在Coursera的代码作业里用Keras的Embedding和SimpleRNN实现这部分时提到，Keras会把padding位置的损失自动屏蔽掉，但如果你自己手写NumPy版本，必须要把padding位置的梯度乘上一个mask，否则模型会被无数个无意义的 标签带偏。
采样（Sampling）则是反着来：从一个起始符开始，模型输出每个词的概率分布，你从分布中采样一个词作为下一步输入，再采下一个词，直到采样出 为止。吴恩达强调采样时要随机抽样而不是每次都取概率最大的那个，因为取最大值会让生成的文本不断重复同一句话，失去多样性。随机采样则保留了生成结果的创造空间，这也是为什么同样的模型每次采样出来的句子都不一样。
5. 反向传播：BPTT与梯度消失/爆炸
5.1 随时间反向传播的核心逻辑
BPTT（Backpropagation Through Time），随时间反向传播，这个名词听起来很唬人，拆开看就是：把RNN沿时间轴展开，变成一个深层前馈网络，然后在这个展开网络上做标准的反向传播。
具体的做法分三步。第一步，前向传播时保存每个时间步的 (a^{\lt t\gt}) 和 (\hat{y}^{\lt t\gt})。第二步，从最后一个时间步开始，计算总损失对最后一个时间步输出 (\hat{y}^{\lt T_x\gt}) 的梯度，然后沿着展开的网络往回走，一路乘上每个时间步隐藏状态的雅可比矩阵。第三步，因为每一步共享同一套权重 (W_{aa}, W_{ax}, W_{ya})，最终某个权重矩阵的梯度是所有时间步上贡献的梯度之和。
从数值上看，这非常像在训练一个很深的全连接网络，只不过这个网络每一层长得很像，而且深层数量等于序列长度。由此你就明白为什么RNN训练很慢：一个100时间步的序列，等价于一个100层的网络，反向传播要跨100层回传梯度。这也解释了为什么RNN对梯度消失和梯度爆炸特别敏感。
5.2 梯度消失的数学直觉与为什么离不了门控
梯度消失是RNN最严重的病根。你可以这样直观感受一下：(a^{\lt t\gt} = \tanh(W_{aa} a^{\lt t-1\gt} + W_{ax} x^{\lt t\gt} + b_a))，链式法则求梯度时，跨时间步传播的路径里会连续乘以 (\frac{\partial a^{\lt t\gt}}{\partial a^{\lt t-1\gt}}) 这类雅可比矩阵。如果 (\tanh) 的导数在[-1,1]之间，多次连乘之后，梯度会指数级收缩到一个非常小的数，导致前部时间步的参数几乎得不到有效梯度，模型学不到长距离依赖。
吴恩达在课上用“The cat ... was”和“The cats ... were”这个例子讲得特别生动：你要让模型记住前面那个名词到底是单数还是复数，这中间可能隔了十几个词。普通RNN因为梯度消失，后面的梯度根本传不到前面的那个名词位置，模型无法建立起从“cats”到“were”的关联。他还说了一句我很认同的话：梯度消失比梯度爆炸更难发现，因为梯度爆炸会让训练直接得到NaN，你立刻就能察觉；梯度消失只是让模型效果变差，看起来像是“数据量不够”或者“模型容量不足”，你根本不会往梯度消失的方向想。
梯度爆炸相对好解，可以用梯度裁剪（Gradient Clipping），设定一个阈值，梯度的模长超过阈值就按比例缩放。这个技术操作简单，粗暴但有效，也是作业里明确要求实现的一个点。
而梯度消失的根治方案，就是吴恩达在第二周要教的GRU（门控循环单元）和LSTM（长短期记忆网络）。核心思路是引入“门”机制，让网络学会决定什么时候记住、什么时候忘记、什么时候更新状态，而不是被迫每次都用矩阵乘法硬性覆盖所有状态。有了门控之后，梯度多了一条“高速公路”，可以从后面一路传回前面而不用每次都被 (\tanh) 压缩一遍。
我在PRNG里手写反向传播做到一半时就意识到，RNN的数学推导本身并不难，难的是工程实现中无数个维度和边界条件。但反过来正因为这个实现过程很痛苦，我才真正做到把BPTT彻底理解了。强烈建议读者在看课的同时别光看视频，一定把配对的编程作业自己敲一遍，尤其是用NumPy实现SimpleRNN那部分，它逼着你去处理每一个符号和维度，这种理解深度是看十遍视频也换不来的。
6. 第一周学习中的常见坑与我的笔记心得
6.1 记号最容易搞混的三个地方
课程笔记里最容易踩的第一个坑是把 (W_{ax}) 和 (W_{xa}) 当作一回事。(W_{ax}) 里下标“a x”的含义是“从x变换到a”，也就是 (W_{ax}) 作用于输入 (x^{\lt t\gt})，输出贡献到 (a^{\lt t\gt})；而 (W_{xa}) 并不存在，有的教材里那个矩阵写的是 (W_{xh}) 或别的名字。这个顺序问题如果搞反了，你对接代码里权重形状的理解会完全乱套。
第二个坑是分不清 (T_x) 和 (T_y)。第一周的很多任务中两者相等，容易让人误以为序列模型的输入输出长度必须一致。实际上到了机器翻译和图像描述那里，(T_x) 和 (T_y) 可以完全不同，模型结构也要随之变化。建议学第一周的时候就养成写清楚“任务类型”的习惯：这个任务是 many-to-one 还是 many-to-many，输入长度和输出长度是否相等，结构图怎么画。
第三个坑是softmax应用的位置。RNN每个时间步的输出都要单独过一个softmax，得到该时间步的类别概率分布；而不是把整条序列的输出混在一起做一个大softmax。等你后来做序列生成代码的时候，如果能记着“每一步输出都是一个概率分布”这条原则，调试起来会顺很多。
6.2 从课程视频到代码作业之间的衔接
看吴恩达的视频是“输入”状态，觉得什么都懂了；一打开编程作业，变成“输出”状态，就发现自己什么都不会了。这种落差我经历过不少次。第一周的作业分两部分，第一部分是用NumPy实现RNN的前向传播和反向传播，第二部分是用Keras构建一个字符级语言模型来生成恐龙名字。多数人卡在第一部分，因为课程视频里虽然给了公式，但没告诉你代码里的维度怎么对。
我的经验是：动手前花20分钟，把每个权重矩阵的形状写在一张纸上。(W_{ax}) 是 ((n_a, n_x))，(W_{aa}) 是 ((n_a, n_a))，(W_{ay}) 是 ((n_y, n_a))，输入 (x^{\lt t\gt}) 是 ((n_x, m))，(m) 是batch大小，隐藏状态 (a^{\lt t\gt}) 是 ((n_a, m))。矩阵乘法的顺序是 (W \cdot X) 而不是 (X \cdot W)，这决定了你怎么安排行和列。作业中的测试代码会验证你的输出有没有过拟合测试样例，维度对不上直接报错，绕不过去。
还有一个特别容易被忽略的细节：如果使用batch训练，(x^{\lt t\gt}) 的形状是 ((n_x, m))，每个batch内所有序列是等长的（这是padding的作用），但在测试时 (m=1)，你用训练时一样的代码逻辑去跑即可；可要小心采样阶段输入和输出的形状变化，当时我因为少给 (a^{\lt t-1\gt}) 增加一维导致整个采样过程报错，排查了半天。
6.3 从RNN走向GRU/LSTM的自然过渡
吴恩达第一周结束前故意留了一个念想：普通RNN的梯度消失问题太严重，下一周我们要讲GRU和LSTM。这个节奏安排得恰到好处。如果你直接去看LSTM的公式，很容易被三个门搞得晕头转向；但如果你是带着“我是为了解决梯度消失”这个目的去学的，LSTM的每一个门设计你都能找到它存在的理由。
结合热词里的“rnn与lstm图解”，我用一个朴素的方式帮你建立直觉：普通RNN的隐藏状态更新是用 (\tanh) 把当前输入和过去状态强行揉成一个新的状态，这是一个“全量覆盖”的过程，过去的信息要么全部保留（被覆盖的程度小），要么全部丢弃（覆盖程度大），非常粗糙。LSTM引入了一个细胞记忆 (c^{\lt t\gt})，专门负责承载长期信息，然后用三个门——遗忘门决定丢掉多少旧记忆，更新门决定用多少新信息写入记忆，输出门决定从记忆里读出多少作为当前隐藏状态——来控制信息的流动，这使得梯度可以沿着 (c^{\lt t\gt}) 这条“传送带”长距离传播而不被频繁的逐点激活函数压缩。
GRU则把LSTM做了精简，用了两个门——更新门和重置门——效果接近LSTM但参数量更小，训练更快。我在后来的项目里用Keras里的GRU替代LSTM，在参数量和训练时间上都明显受益，尤其在小数据集上，GRU几乎是更稳妥的起点。
这一周的课程信息密度不低，但真正的价值全都在编程作业里体现出来了。不要只做“能跑通”就收手，强烈建议拿着作业代码里的测试样例，自己手动推一遍某个小例子的前向传播数值，这会让你对 (W_{aa}, W_{ax}, W_{ya}) 三者的作用建立起肌肉记忆。
最后提一个小技巧：做笔记时把每个结构图自己动手画一遍，不要截图保存就算完。吴恩达画RNN展开图的时候有一条很短但很关键的弧线——从 (a^{\lt t-1\gt}) 连到 (a^{\lt t\gt})。你自己在纸上重现这条弧线时，才会真正意识到RNN的所有秘密都藏在这条弧线里。
