摘要：本文从嵌入层出发，梳理各向异性痛点、自注意力公式及位置编码本质，重点通过“我爱你”三字示例逐层推演矩阵形状演变，直观展示 Q/K/V 的动态扩展、n×n 注意力分数的计算过程，并对比绝对位置与 RoPE 在长文本下的行为差异，帮助读者理解权重矩阵与序列长度的解耦关系，以及 RoPE 如何绕过硬边界实现长度外推。
目录
- 1. 嵌入层（Embedding Layer）
- 2. 痛点：各向异性（Anisotropy）
- 3. 自注意力（Self‑Attention）
- 4. 位置编码（Positional Encoding）
- 5. 不可省略的关键计算细节：矩阵形状演变
- 6. 总结
1. 嵌入层（Embedding Layer）
嵌入层是 Transformer 模型的最底层模块，也是自然语言进入神经网络的"翻译官"。它的核心任务只有一个：把离散的 Token ID 映射为连续的稠密向量。这个映射过程看起来简单，但其中蕴含的细节远比直觉复杂。
1.1 嵌入矩阵的结构与参数量
嵌入层的本质是一个巨大的查找表——嵌入矩阵E ∈ R|V|×d，其中|V|是词表大小，d是模型的隐藏维度。以 Llama‑3‑8B 为例：词表大小约为 128,000（128K），隐藏维度为 4096，嵌入矩阵的参数量 = 128K × 4096 ≈5.24 亿。这意味着仅仅是 "Token → 向量" 这一个步骤，就占用了 5 亿多个可训练参数，远超很多小型模型的全部参数量。
更值得注意的是，在绝大多数 Transformer 实现中，嵌入层与最后的 LM Head（输出投影层）共享权重。这被称为 "Weight Tying"，它能有效减少参数量（否则还要再加 5 亿参数用于输出投影），同时让输入和输出空间保持一致，提升训练稳定性。
1.2 从文本到 ID：分词器（Tokenizer）的工作
在嵌入矩阵查表之前，还有关键的一步：分词（Tokenization）。模型并不是按"字"来处理文本，而是按"Token"。以中文为例，BPE（Byte‑Pair Encoding）或 SentencePiece 等子词分词算法会将文本切分为高频子词单元：
- 输入文本："Transformer 模型很棒"
- 分词结果：
["Transform", "er", "模型", "很棒"]（示意，实际取决于词表） - 映射为 ID：
[4521, 89, 7623, 12045]
每个 ID 随后作为索引，在嵌入矩阵中取出对应的d维向量。如果某个词不在词表中（OOV，Out of Vocabulary），子词分词会将其拆解为更小的已知单元，从而保证任何文本都能被模型的嵌入层消化。这是现代 LLM 能够处理任意输入的基础能力。
1.3 嵌入向量的初始化与训练
嵌入矩阵的初始值对训练收敛速度有显著影响。常见做法有两种：
- 随机初始化：使用正态分布（均值 0，标准差 1/√d）或均匀分布进行初始化，让初始向量在高维空间中近似均匀分布。这是大多数从头训练的模型的默认选择。
- 预训练嵌入：使用 Word2Vec、GloVe 或 FastText 等预训练词向量作为初始值。这种方式在早期 NLP 模型中很常见，但在现代大规模 LLM 中，由于词表规模巨大且训练数据充分，随机初始化更为普遍。
随着训练进行，嵌入矩阵会通过反向传播不断更新。每个 Token 的向量逐渐被"推到"语义空间中合适的位置——相似语境的 Token 靠近，无关的疏远。这个过程完全由训练目标和数据分布驱动，不需要任何人工标注的语义关系。
1.4 语义几何：为什么 King−Man+Woman≈Queen？
嵌入层最经典的类比是：King − Man + Woman ≈ Queen。这个等式的本质在于，高维向量空间中的线性运算可以捕捉语义方向的偏移。向量 "King − Man" 近似代表了 "王权 / 男性移除" 的方向，在这个方向上加上 Woman，就会落到 Queen 附近。
更一般地说，训练良好的嵌入空间具有以下几何性质：
- 相似性：语义相近的词（如"猫"和"狗"）余弦相似度较高；
- 类比性："男孩 − 女孩 ≈ 国王 − 女王"；
- 聚类性：相同类别的词汇会自然聚集（国家名、动词、形容词各成区域）；
- 维度可解释性（部分情况下）：某些维度可能对应具体特征（如性别、时态、情感极性），但这并非总能观察到。
这些性质是后续自注意力层能够高效建模长距离依赖的前提条件。如果
