Transformer 数学推导这个系列写到第 38 问，终于轮到 RoPE 的复数形式了。说实话，RoPE 在这一系列里是我拖得最久的题目之一——不是因为它计算量大，而是因为市面上讲 RoPE 的文章，十篇里有九篇停在“旋转矩阵”这一步，剩下的一篇会带一句“等价于复数乘法”，但真正把复数形式怎么参与点积、相位差怎么影响注意力分数这件事讲清楚的，实在太少。Q38 的目标就是把这段“最后一公里”补上：从复数形式出发，把Re(z_q conj(z_k) e^{i(m-n)θ})这个式子拆到底，逐层拆解 RoPE 对注意力分数的几何影响，顺带回答那个被反复问到的问题——RoPE 到底会不会让注意力分数“漂移”。
这篇适合三类人：已经读过 RoFormer 论文、但觉得复数推导被一笔带过的；用现成框架调用 RoPE、但没搞懂为什么旋转的是 q 和 k 而不是数值的；以及正在实现自己的 Transformer 手写代码、卡在位置编码选型上的人。读完你应该能独立推导出 RoPE 的核心等式，并且知道怎么用十几行代码验证“注意力分数只依赖相对位置”这件事。
1. 位置编码与注意力分数：先把问题本身想清楚
1.1 自注意力的“无位置”困境
自注意力的打分公式很干净：
a_mn = q_m^T k_n = x_m^T W_Q^T W_K x_n如果不加任何位置信息，这个分数只跟两个 token 的内容有关，跟它们在序列里相距多远、谁先谁后，完全无关。换句话说，把句子“猫追老鼠”和“老鼠追猫”里的同一对 token 拿出来，只要内容是同一个词，注意力分数就是同一个值。Transformer 在结构上对位置的排列是置换等变的，这对捕捉词序信息是个灾难。
很多人第一次听说这件事时会觉得“不对吧，词向量里不是已经有词序了吗”。实际上并没有。W_Q和W_K只对内容建模，两个一模一样的词在不同位置出现，得到的 q 和 k 是完全相同的。如果输入侧不做任何位置注入，模型本质上就是一个带位置无关权重的词袋模型叠加——它能知道“出现了哪些词”，但不知道“这些词以什么顺序出现”。
这就是位置编码要解决的根本问题：让注意力分数在保持内容判断能力的同时，额外获得“这两个 token 相距多远”的信息。
1.2 绝对位置编码做到了什么、又没做到什么
Transformer 原文用的是正弦绝对位置编码。做法是把位置 m 编码成一个和词向量同样维度的向量PE_m，直接加到词向量上。这个方案能跑通，但有一个绕不开的问题：位置信息是作为“加法噪声”注入的，q 和 k 里的位置信号会和内容信号混在一起。注意力分数展开之后，除了内容项，还会出现绝对位置的交叉项：
(q_m + p_m)^T (k_n + p_n) = q_m^T k_n + q_m^T p_n + p_m^T k_n + p_m^T p_n后面三项既包含m又包含n，而且不是以m-n的形式出现的。模型需要自己从这些混合项里“学”出相对距离的含义，这等于把位置关系变成了一个隐式的次级学习目标。
学习式的绝对位置编码也是一样，只是把固定函数换成了可学习的参数表。它们在训练长度范围内能用，但一旦序列长度超出训练时见过的最大位置，直接越界；即便做插值，也常常因为位置向量和内容向量纠缠在一起而效果不佳。
1.3 RoPE 选择的路：让相对距离进入向量夹角
相对位置编码的思路更直接一些：既然注意力分数本质上是个点积，那就让点积结果显式地和m-n挂钩。T5 的做法是给分数加一个可学习的相对偏置b(m-n)，ALiBi 是加一个线性惩罚项。这两种都是“在分数上做加法”，位置信息是叠加在内容分数之上的外部信号。
RoPE 走的是另一条路：它不去改分数，而是先把 q 和 k 这两个向量本身旋转一个跟位置有关的、确定性的角度，再算点积。因为旋转不改变向量长度，只改变方向，所以经过精心设计的旋转，点积结果里会自然长出(m-n)这一项。
一句话概括：RoPE 把“位置差”变成了“两个向量之间的夹角差”，让相对位置成为注意力分数的内在几何属性，而不是事后硬加的偏置。
2. 复数形式：从旋转矩阵到复指数乘法
2.1 为什么旋转矩阵和复数乘法是同一件事
二维平面上一个最基本的旋转矩阵长这样：
R(φ) = [ cos φ -sin φ ] [ sin φ cos φ ]它作用在向量(x, y)上，得到(x cos φ - y sin φ, x sin φ + y cos φ)。如果用复数表示同一个向量，写成z = x + i y，那么乘以e^{iφ}之后：
z e^{iφ} = (x + i y)(cos φ + i sin φ) = (x cos φ - y sin φ) + i (x sin φ + y cos φ)实部和虚部分别对应旋转后的横纵坐标。所以“二维旋转”和“复数乘法”在数学上是完全等价的两套语言，一个是矩阵视角，一个是复平面视角。
这两套语言有一个共同的灵魂：组合律。
R(α) R(β) = R(α + β) e^{iα} e^{iβ} = e^{i(α + β)}旋转一次再旋转一次，等于直接旋转两个角度的和。这个性质在下面推导里是命根子——RoPE 之所以能做到“绝对位置编码，相对位置使用”，靠的就是这个组合律。
2.2 维度扩展：分块旋转与频率表
Transformer 的隐藏维度d通常是偶数。RoPE 的做法不是把整个高维向量当成一个整体做一次大旋转，而是把向量拆成d/2个二维平面，每个平面独立旋转：
q_m = [ R_1(m) q_1; R_2(m) q_2; ... ; R_{d/2}(m) q_{d/2} ]其中第i个平面块的旋转角度是m θ_i。注意，每个平面块的频率不一样。标准设置是：
θ_i = 1 / base^(2i / d), i = 0, 1, ..., d/2 - 1, base 默认 10000这个频率表是几何级数。θ_0接近 1，对应旋转周期接近2π，位置每移动一位，这个块几乎转满一圈；θ_{d/2-1}接近1/10000，旋转非常缓慢，位置移动几千步也转不到一圈。这样一组频率把“快速旋转”到“慢速旋转”均匀铺开，为的就是在不同尺度上感知位置差异——小的维度对短距离敏感，大的维度对长距离稳定。本质上是一组分段的多尺度编码器。
2.3 Q38 主推导：点积只与相对位置有关
现在做最关键的一步。先把二维平面上的向量写成复数。记：
z_q,i = q_{2i} + i q_{2i+1} z_k,i = k_{2i} + i k_{2i+1}位置m处的 query 和位置n处的 key，经过 RoPE 之后，第i个频带的复数形式变成：
z_q(m,i) = z_q,i e^{i m θ_i} z_k(n,i) = z_k,i e^{i n θ_i}第i个频带对这个注意力分数的贡献，是旋转后的两个复数做“实数内积”，在复数语言里等于取“一个乘以另一个的共轭”的实部：
贡献_i = Re( z_q(m,i) · conj(z_k(n,i)) ) = Re( z_q,i e^{i m θ_i} · conj(z_k,i) e^{-i n θ_i} ) = Re( z_q,i conj(z_k,i) e^{i (m-n) θ_i} )看最后一行：m和n单独出现的位置消失了，只剩下(m-n)。把所有权重加起来，完整的注意力分数为：
a_mn = Σ_i Re( z_q,i conj(z_k,i) e^{i (m-n) θ_i} )这就是 RoPE 复数形式的核心等式。换成矩阵语言同样成立：
(R(m)q)^T (R(n)k) = q^T R(m)^T R(n) k = q^T R(-m) R(n) k = q^T R(n-m) k因为旋转矩阵的转置就是它的逆。所以无论从复数还是矩阵哪个角度看，结论都一样：RoPE 把“位置 m 的 q”和“位置 n 的 k”的点积，变成了“未旋转的 q”和“被旋转了n-m的 k”的点积。
这就是 Q38 要回答的核心问题——注意力分数为什么只依赖相对位置。答案不是靠什么花哨技巧，而是旋转群本身的组合律：两次旋转差值的角度，恰好就是位置差。
2.4 维度配对与实现约定
这里必须提醒一个细节：复数形式要求两个维度配对成一个复平面。两种常见约定：
第一种是“交错配对”，即(0,1)、(2,3)、(4,5)这样相邻两维为一组，和复数形式的推导完全对应。第二种是“前后劈半配对”，即(0, d/2)、(1, d/2+1)这样，前一半和后一半对应位置凑成一组。Meta 的 LLaMA 实现用的是后者。
两种约定数学上都能跑通，关键是你得保持一致：预计算频率表时按哪种方式配对，旋转时也必须按哪种方式配对。很多人手写代码时前一半用交错、后一半用劈半，结果注意力热力图一团糟，排查半天发现是配对顺序错了。关于这一点，第 4 节的验证方法能帮你快速发现这类错误。
3. 对注意力分数的几何影响：相位调制、叠加与衰减
3.1 单个频带：注意力分数就是被相位调制的余弦
把第i个频带的复向量写成极坐标形式：
z_q,i = r_q,i e^{i α_i} z_k,i = r_k,i e^{i β_i}代入核心等式，单个频带的贡献变成：
贡献_i = r_q,i r_k,i cos(α_i - β_i + (m-n) θ_i)这个式子把几何意义说得很明白：α_i - β_i是 query 和 key 在这个频带上本来就有的方向差；(m-n) θ_i是位置差带来的额外相位。整个贡献就是两个向量的模长乘积，乘以夹角余弦。
余弦的本质是“一个单位向量在另一个单位向量方向上的投影长度”。当m = n时，额外相位为零，贡献就是普通的点积分量；当m ≠ n时，额外相位把贵宾两个向量的相对方向硬生生拧了一个角度，投影长度随之变化。这就像一个投影仪把画面投射到墙上，非你换个角度照，投影的宽度就变了——RoPE 没有改变画面内容，但改变了投射角度，从而改变了最终看到的“分数长度”。
值得注意的是，这个调制是乘性的。它不像 ALiBi 那样给分数加一个固定的惩罚，而是用cos(α - β + Δθ)这种带方向性的方式来调制。即使距离相同，不同方向的 q 和 k 受调制的方式也不同——位置信息不是简单加在分数上的常数，而是和内容方向耦合在一起。
3.2 多频带叠加：长距离衰减从哪来
单个频带是余弦振荡，但注意力分数是d/2个不同频率余弦的叠加。假设在距离为零时，每个频带的α_i - β_i都对齐到零（也就是 q 和 k 在每个频带都同向），那么距离为Δ时的分数就退化成：
S(Δ) = Σ_i r_i² cos(Δ θ_i)这个式子的形状很关键。θ_i是几何级数分布的频率，意味着这些余弦的周期覆盖了从短到长很宽的区间。频率越高的项，Δ稍微变大就快速振荡；频率低的项，Δ很大时才明显变化。把这一堆不同周期的余弦加在一起，结果就是：在Δ较小时，各频率相位还比较接近，叠加出大值；Δ增大后，相位迅速散开，正负项互相抵消，叠加值衰减。
这跟傅里叶级数的道理一模一样。一组相干的波在中心处同相叠加出主瓣，离开中心后相位失配，幅度断崖式下降。RoPE 的长距离衰减，本质上就是频率集合的“失相干”。
这里必须把话说严谨：这个衰减不是对任意 q、k 的绝对保证。如果你允许 q 和 k 为每个距离单独“对抗性优化”，总可以重新对齐相位，让远距离分数重新拉满。真正的约束是，在训练得到的固定表示上，q 和 k 的方向不会为每个距离单独定制，所以整体上注意力趋于局部化。RoFormer 论文里强调的“长期衰减”是这种频率设计带来的归纳偏置，不是数学上对所有向量的硬性上界。很多文章把这一点讲错了，把它说成绝对衰减定理，这是不准确的。
3.3 高频与低频角色的分化
把d维频带分成两类来看，行为差异很有意思。
高频带（i小，θ_i大）对短距离敏感。位置差Δ只移动一位，相位就转过一个大角度，所以两个相邻 token 的分数差异很容易体现出来。但问题在于高频会“混叠”：当Δ θ_i转了好几圈之后，远距离的相位会跟某个近距离的相位重叠。比如旋转角度每周转2π，距离差 8 和距离差 8 + 2π/θ_i 就会撞到同一个相位上。也就是说，高频带负责分辨“紧挨着”的位置，但对远距离会产生歧义。
低频带（i大，θ_i小）正好相反。旋转很慢，靠它分辨短短几步的距离基本无能为力——两步和三步在低频带的相位差太小了。但它胜在稳定：在很大的距离范围内都不会发生整圈混叠，能可靠地传递“我们相距很远”这种长程信息。
所以 RoPE 是一个非常经典的多尺度分解：高频负责局部细化，低频负责全局定位，不同频带各管一段距离。这有点像图像处理里的拉普拉斯金字塔，也像 GPS 里用不同频率的载波做粗测和精测。模型实际使用时，会根据任务需要在不同频带上分配权重——语言任务更吃高频的局部信息，长程依赖任务更吃低频的全局信息。
3.4 “注意力漂移”究竟是怎么回事
现在来正面回答热搜里的那个问题：RoPE 导致注意力漂移吗？
要分两层看。第一层，“漂移”如果指的是注意力分数有别于不加位置编码的基线，那答案是肯定的，而且这正是设计目的。RoPE 就是故意改了分数，让位置差进入夹角。只要所有位置都在训练见过的范围内，这种“漂移”是可控的、有几何意义的——相位调制按照cos(Δθ)的规律在走，没有失控。
第二层才是真正的问题：长度外推。当推理时Δ超过训练范围，高频带的相位已经转了不知道多少圈，前面说的长距离衰减包络不再成立，相位混叠会把远距离 token 错认成近距离 token。这时候注意力热力图会出现不正常的“漂移”——某个远处的 token 突然获得异常高的注意力分数，而且这个高分和内容语义无关，纯粹是相位撞车造成的。这是 RoPE 被反复诟病的外推失效问题。
理解了这个机制，再看各种补救方案就门儿清了。位置插值就是直接把Δ整体除以一个缩放因子，好让相位重新落在训练范围内；NTK-aware 缩放和 YaRN 则是重新设计θ_i的调度，让高频带少转几圈、低频带多留余量。它们改的都不是复数形式本身，而是频率表。换句话说，数学内核没变，变的是相位推进的速度。
4. 从复数公式到可运行代码
4.1 最小实现：PyTorch 复数路径
理解了复数形式之后，代码其实非常短。核心是两个步骤：预计算角度表、把复数旋转应用到 q 和 k 上。
import torch def rope_angles(dim, seq_len, base=10000.0): # 频率表：theta_i = 1 / base^(2i/dim)，i = 0, 1, ..., dim/2-1 inv_freq = 1.0 / (base ** (torch.arange(0, dim, 2, dtype=torch.float32) / dim)) pos = torch.arange(seq_len, dtype=torch.float32) angles = pos[:, None] * inv_freq[None, :] # [seq_len, dim/2] return angles def apply_rope_complex(x, angles): # x: [B, L, H, D]，D 必须为偶数 # angles: [L, D/2]，位置序列和 x 的序列长度一致 B, L, H, D = x.shape # 交错配对：把 D 维拆成 D/2 个复数 z = torch.view_as_complex(x.reshape(B, L, H, D // 2, 2).contiguous()) # 构造 e^{i angles} phase = torch.view_as_complex( torch.stack([torch.cos(angles), torch.sin(angles)], dim=-1) ) # [L, D/2] z_rot = z * phase.unsqueeze(0).unsqueeze(2) # [B, L, H, D/2] return torch.view_as_real(z_rot).flatten(-2)这段代码和 Q38 的推导逐行对应：x.reshape(B, L, H, D//2, 2)就是在做(q_{2i}, q_{2i+1})的复数化，乘上e^{i m θ_i}，再恢复成实数向量。整个旋转过程没有出现任何矩阵乘法，因为复数乘法已经内置了旋转。
一个容易忽略的点：view_as_complex要求最后一维长度为 2 且内存连续，所以 reshape 之前最好显式加contiguous()。某些低精度场景下，torch.view_as_complex在 bfloat16 上可能不兼容，可以先在 float32 里算完再转回低精度。
4.2 用 Toeplitz 检验验证“只依赖相对位置”
推导说a_mn只依赖m-n，这件事可以用代码直接验证，而且非常直观。如果注意力分数真的只依赖相对位置，那么分数矩阵M[m][n]沿着对角线方向应该处处相等，也就是说它是个 Toeplitz 矩阵。
def score_matrix(q, k): return q @ k.T L, D = 16, 8 q = torch.randn(L, D) k = torch.randn(L, D) angles = rope_angles(D, L) q_rot = apply_rope_complex(q.unsqueeze(0).unsqueeze(2), angles).squeeze() k_rot = apply_rope_complex(k.unsqueeze(0).unsqueeze(2), angles).squeeze() M = score_matrix(q_rot, k_rot) # 沿对角线比较：M[m][n] 应该等于 M[m+1][n+1] diff = (M[:-1, :-1] - M[1:, 1:]).abs().max().item() print(f"max |M[m,n] - M[m+1,n+1]| = {diff:.3e}")理论上这个差值应该精确为零，浮点上会有1e-6左右的误差。如果你写出来的 RoPE 代码这个差值不是接近零，基本可以断定配对顺序或者旋转方向写错了。
这个方法比盯代码找 bug 高效得多。我自己手写 Transformer 时，每一次修改位置编码都会跑一遍这个检验，几秒钟就能定位问题出在预计算还是旋转阶段。
4.3 亲手把长距离衰减曲线画出来
验证完相对位置性，下一步值得看一下长距离衰减的实际表现。计算每个相对距离下所有频带的余弦均值：
def decay_curve(dim, max_delta, base=10000.0): inv_freq = 1.0 / (base ** (torch.arange(0, dim, 2, dtype=torch.float32) / dim)) deltas = torch.arange(max_delta, dtype=torch.float32) angles = deltas[:, None] * inv_freq[None, :] # [max_delta, dim/2] S = torch.cos(angles).mean(dim=1) return S curve = decay_curve(dim=128, max_delta=200, base=10000.0) # 打印前几个点看看衰减走势 for idx in [1, 2, 5, 10, 20, 50, 100, 200]: print(f"Δ={idx:4d} S(Δ)={curve[idx].item():+.5f}")跑一下你就能看到，S(Δ)在距离小的时候接近 1，然后快速下降，之后在一个较小的幅度上振荡衰减。这正是 3.2 节讲的“相干叠加转失相干”。把base改成 100 或者 1000000 再跑一次，曲线形状会明显变化：base越大，整体旋转越慢，衰减包络拉得越平缓。这也是长上下文模型为什么喜欢调大base的原因之一——等于手动把相位推进放慢，换得更长的有效距离。
4.4 实操中容易踩的坑
第一个坑是给 value 也加了 RoPE。旋转只应该作用在 q 和 k 上，v 是绝对不能转的。一旦给 v 加了旋转，加权求和输出的向量方向会被位置信息污染，模型基本没法收敛。这个错误在实现代码里很隐蔽，因为运行时不报错，只能靠 loss 曲线发现。
第二个坑是增量推理时 q 和 k 的位置索引不一致。训练时，self-attention 的 q 和 k 来自同一段序列，位置都是0..L-1，所以可以统一旋转。但在增量解码时，当前步的 q 只有最后一个位置，而 k 缓存里存着0..L-1所有位置，两者的 angles 不能共用同一张位置表。正确做法是分别按各自的位置取 angles——q 用angles[L-1:L]，k 用angles[:L]。很多外推失败不是模型问题，而是这里位置取错了。
第三个坑我前面提过：配对顺序。LLaMA 系实现常用劈半配对，而复数推导默认交错配对。如果你参考两个项目的代码拼在一起，务必检查两边的rotate_half是不是同一约定。标准建议是：代码里保持和推导一致的约定，出问题也好排查。
第四个坑是旋转方向。q e^{i m θ}和q e^{-i m θ}都能跑，但得统一。query 和 key 必须用同一个方向约定，否则相对位置会被算成m + n而不是m - n，分数矩阵就不再是 Toeplitz，前面的检验一眼就能看出来。
5. 延伸思考与常见问题
5.1 RoPE 与 ALiBi、T5 相对偏置的比较
这三者是目前最主流的相对位置编码方案，放在一起看差异特别清楚。
T5 的相对偏置是加法的：给分数加上一个随m-n变化的学习标量b(m-n)。好处是灵活，偏置完全由数据学出来；坏处是位置信息是“外挂”的，和内容方向无关。ALiBi 是固定的线性惩罚：-c |m-n|，实现极简，但惩罚形式太粗暴，对长程依赖的建模能力有限。
RoPE 是乘法的、和内容方向耦合的：位置差不是加在分数上，而是通过旋转改变向量之间的夹角。这只把“距离”信息注入了“方向”，具体怎么影响分数还要看cos(α - β + Δθ)里内容和位置的交互。这带来一个独特的好处：RoPE 不需要学习任何位置参数，却能通过频率表控制感受野的形状。相比之下，T5 偏置需要训练才能得到合理的距离衰减，RoPE 从一开始就把衰减结构嵌进去了。
当然,乘性调制也有代价。它的分辨率受频率表限制，而且外推时高频混叠会引发注意力漂移。ALiBi 在长度外推上有时表现更好，恰恰因为它没有周期性——线性惩罚不存在“转圈”的问题。每种方案都是取舍。
5.2 关于“位置即旋转”的统一视角
推完 Q38 之后，我意识到 RoPE 最优雅的一点是它把位置编码和旋转群统一了起来。绝对位置编码是“位置 → 向量偏移”，相对位置编码是“位置差 → 标量偏置”，RoPE 是“位置 → 旋转算子”。旋转算子天然满足群结构，所以绝对位置编码可以组合出相对位置的效果——这正是“绝对位置编码、相对位置使用”这句话的数学含义。
这个视角还能推广。RoPE 的二维旋转只是在某个基下的一种实现，任何保持内积的结构变换都可以做位置编码。有人把 RoPE 扩展到 2D 图像坐标，用两个维度组合成平面旋转；也有人用更复杂的正交变换做高维位置算子。理解了“位置即旋转”之后，再看这些变体，本质上都是在挑选不同的旋转群表示。
5.3 建议的推导路线
如果你想把这一问彻底吃透，我建议按照下面这个顺序自己手推一遍，而不是只看文章：
第一步，验证二维旋转矩阵和复数乘法的等价性，手写R(φ)作用在(x,y)上，再手写(x+iy)e^{iφ}，对比结果。第二步，写出 q 和 k 的分块旋转形式，用旋转矩阵的转置等于逆这个性质，推出R(m)^T R(n) = R(n-m)。第三步，把分块写成复数，按 2.3 节的流程推导出Re(z_q,i conj(z_k,i) e^{i(m-n)θ_i})。第四步，用第 4 节的 Toeplitz 检验和衰减曲线把理论结果落到代码上。
推完之后，给自己出一个小题：如果所有θ_i都相等，RoPE 会退化成什么样？答案是整个向量空间只做一个全局旋转，注意力分数变成单一频率的余弦振荡,远距离的性质和本地位置完全混叠，长距离衰减消失。这个反向思考能帮你更深刻地理解频率表为什么必须是几何级数。
我个人在实际操作中的体会是，RoPE 的复数形式不只是数学上的简洁记号，它直接影响你写代码时的思考方式。用矩阵视角写，你脑子里全是分块对角阵；用复数视角写，你脑子里是“每个频带是一个相位旋转”。后者和频率表的直觉完全对应，出 bug 时定位也快得多。最后再分享一个小建议：别把第 4 节的验证代码当摆设，每次改位置编码实现后跑一遍 Toeplitz 检验，这个习惯能帮你省下大量排查注意力异常的时间。
 Promise 化)
