简介：这份PDF文档围绕ChatGPT大模型的技术发展与应用展开，面向自然语言处理学习者、人工智能从业者及需要系统梳理大模型脉络的研究者，帮助读者理解从统计语言模型到预训练大模型的关键演进。内容以深度学习、语言模型、语义表示和预训练技术为线索，串联N-gram、神经网络语言模型、Transformer自注意力机制、Word2Vec、ELMo、BERT、GPT-2与GPT-3等节点，并讨论GPT-3在生成可控性、知识准确性和逻辑推理方面的局限，以及ChatGPT通过指令学习、监督微调和基于人类反馈的强化学习实现对齐的思路。压缩包内为1个PDF文件，大小约2.15MB，便于单文件阅读、检索和归档。该文档已有526人学习，适合用于课程报告、技术综述写作或大模型入门研究，可帮助读者快速建立技术演进框架，理解ChatGPT的能力来源、应用场景与后续发展方向。
1. 很多人以为 ChatGPT 大模型的能力来自某个横空出世的算法，事实并不是。拆开看，它是四条技术线在同一个时间窗口里收敛的结果：语言模型解决「下一个词怎么预测」，语义表示解决「词怎么变成向量」，预训练解决「知识从哪里来」，对齐解决「模型怎么听话」。这条链上没有一环是 2022 年才出现的——自注意力是 2017 年，预训练范式在 2018 到 2020 年被反复验证，用强化学习做对齐的思路更早。真正难的是把这四块拼成一条稳定收敛的工程流水线，并在千亿参数规模上让它不崩。搞懂这条收敛路径，才能分辨市面上各种「复现」说法里，哪些是在复现算法，哪些只是在复现 API 调用。
2. 从 N-gram 到 Transformer：语言模型为什么要反复重写「记忆」的方式
语言模型的目标一直没变过：给一个词序列算概率，也就是 P(W1,W2,…,Wk)。变的是「把这个概率存在哪里」。统计方法把它存在一张计数表里，神经网络把它存在一组连续向量里，循环网络把它存在一个随时间传递的隐状态里，自注意力干脆不存，每次按相关性现查。每一次换存储方式，都是在补上一代方案的某个结构性漏洞。
2.1 N-gram 的马尔科夫假设：零概率和参数爆炸为什么同时出现
按链式法则展开，一个句子的概率是每个词在全部前缀条件下的概率连乘。要精确算，条件里得带上完整历史，参数规模随句长指数增长，实际上不可行。N-gram 的做法是砍历史：假设当前词只与前 n−1 个词有关，于是 P(Wk|W1…Wk−1) 退化成 P(Wk|Wk−n+1…Wk−1)，参数用极大似然估计直接从语料里数出来，分子是这 n 个词连续出现的次数，分母是前 n−1 个词出现的次数。
这个假设换来的是可计算性，代价有两个。第一个是参数表规模：条件概率表大致是词表大小的 n 次方量级，词表五万、n 取 5 时，参数量是十的二十几次方，根本存不下，所以工程上 n 一般只取到 3 到 5。第二个更致命：语料里没出现过的组合，计数是 0，条件概率就是 0，连乘下去整句概率归零，模型会给一个完全正常的句子判死刑。这就是稀疏问题。
业界的修补办法是平滑：拉普拉斯平滑给所有计数加 1，保证不出现零概率；Good-Turing 用「出现 r+1 次的组合有多少个」去反推出现 r 次的概率质量；Kneser-Ney 做绝对折扣，并把低阶模型的接续概率借上来，专门处理那些虽然没出现过、但上下文很杂的组合；插值法则把不同阶的估计加权混合。这些方法都有效，但都停留在手工修补层面——它们没有解决「相似上下文之间不共享统计强度」这件事。两个词在语义上完全等价，只要字面不同，计数表就当成两回事。后面所有的表示学习，动机都从这里开始。
2.2 NNLM：词向量是被参数压力逼出来的副产品
2003 年有研究团队提出用前馈神经网络做语言模型，思路是把离散符号先映射到连续空间。流程是：前 n−1 个词做 one-hot，乘一个 |V|×d 的投影矩阵得到词向量，把这 n−1 个定长向量拼接，送进 tanh 激活的隐层，再过一个输出层映射回词表维度，最后 softmax 出每个词的概率。
参数量对比很直观：词表五万、d 取 128、隐层 512、n 取 5 时，投影层约 640 万参数，隐层约 26 万，输出层约 2560 万，总量三千万级别；而同等词表的 5-gram 计数表是天文数字。更关键的是投影矩阵 E 被所有上下文共享，两个词如果在相似上下文里出现，梯度会把它们的向量往一起推。这就是泛化能力的来源——没见过的组合，只要它的组成词在训练中各自见过相近的用法，模型依然能给出合理概率。
副作用是词向量本身。训练完之后，E 的每一行就是一个词的连续表示，语义相近的词在向量空间里距离更近，可以做类比运算。这是意外收获，却成了后来十年 NLP 的主线。NNLM 的局限也很清楚：窗口固定，仍是前馈结构，没有真正的序列记忆；拼接操作把位置信息硬编码进了输入维度，序列一长就无能为力。
2.3 RNN 与 LSTM：门控机制其实是在给梯度修一条恒等通路
循环网络把「记忆」换成了隐状态：h_t = tanh(W_x·x_t + W_h·h_{t−1} + b)，每一步读入当前词，同时接收上一步的隐状态，理论上历史信息可以一直传下去。训练用随时间反向传播，梯度沿时间轴连乘，每一项都含 W_h 和 tanh 的导数。当这些因子的谱范数长期小于 1，梯度指数衰减到几乎为零，远距离的依赖学不到；长期大于 1，则指数放大，训练直接发散。
梯度裁剪治的是后者：设一个阈值，梯度范数超了就按比例缩回来，简单有效。但梯度消失不是数值问题，是结构问题——信息必须每步穿过一次非线性压缩，传得越远丢得越多，裁剪救不了。真正的解法是改结构，让梯度有一条近似恒等的通路。
LSTM 引入细胞状态 c 和三个门。遗忘门 f 决定旧信息保留多少，输入门 i 决定新信息写入多少，输出门 o 决定当前暴露多少，候选记忆 g 由当前输入和上一步隐状态算出，更新式是 c_t = f⊙c_{t−1} + i⊙g。注意这里是加法而不是乘法：对 c_{t−1} 求导得到的就是 f，当遗忘门接近 1 时，梯度沿细胞状态几乎原样回传，不受激活函数压缩。这一条加法路径就是 LSTM 能记住长依赖的根本原因，三个门只是在学「什么时候该忘、什么时候该写」。
GRU 把结构简化成两个门：更新门 z 控制新旧隐状态的混合比例，重置门 r 控制计算候选状态时忘掉多少历史。参数少三分之一，多数任务上效果接近。但无论 LSTM 还是 GRU，都有一个绕不过去的限制：h_t 必须等 h_{t−1} 算完，n 个时间步就是 n 次串行，GPU 的并行度用不上；而且所有历史最终被压进一个固定维度的向量，序列越长，信息越挤。
2.4 自注意力：把 n 步串行换成一次矩阵乘
Transformer 的核心改动是取消循环，让任意两个位置直接相连。做法是把每个位置的向量线性映射成三份：Query、Key、Value。Query 表示「我这个位置想找什么」，Key 表示「我这个位置能提供什么标签」，两者点积得到相关性分数，softmax 归一化成权重，再对 Value 加权求和。公式是 Attention(Q,K,V) = softmax(QKᵀ/√d_k)·V。
import numpy as np def attention(Q, K, V, causal_mask=None): # Q/K/V 形状均为 (batch, heads, seq_len, d_k) d_k = Q.shape[-1] # 1) 相关性打分：一次矩阵乘算出所有位置对之间的关系 scores = Q @ K.transpose(0, 1, 3, 2) / np.sqrt(d_k) # 2) 因果掩码：上三角置极小值，softmax 后权重归零，防止看到未来 if causal_mask is not None: scores = np.where(causal_mask, scores, -1e9) # 3) 减最大值再取指数，避免 exp 溢出，等价于原 softmax scores = scores - scores.max(axis=-1, keepdims=True) weights = np.exp(scores) weights = weights / weights.sum(axis=-1, keepdims=True) return weights @ V # (batch, heads, seq_len, d_k)这段代码里三个参数值得说明。d_k是每个头的维度，除以它的平方根是因为：假设 Q、K 各分量独立、零均值、单位方差，点积的方差约等于 d_k，维度越高分数越极端，softmax 会被推成近似 one-hot，梯度几乎消失，缩放就是把方差拉回 1 量级。causal_mask是下三角为真的布尔矩阵，作用是让第 t 个位置只能看见不超过 t 的位置，这是自回归训练能一次前向算完所有位置损失的前提。第三步先减最大值再取指数，是 softmax 的数值稳定写法，结果与直接计算完全等价。
复杂度上，自注意力是 O(n²·d)，循环网络是 O(n·d²)。序列不长时前者更贵，但它把 n 步串行压缩成一次矩阵乘，GPU 能吃满；更重要的是任意两个位置之间的路径长度从 O(n) 降到 O(1)，长依赖不再需要逐级传递。这是 Transformer 能撑起千亿参数的根本原因——不是因为更「聪明」，是因为更「好训练」。
2.5 位置编码与因果掩码：并行化必须补的两个洞
自注意力有一个反直觉的性质：它对输入顺序是等变的。把序列里两个词交换位置，输出也只是跟着交换，模型本身感知不到「谁在前谁在后」。所以必须额外注入位置信息。正弦编码用不同频率的 sin/cos 函数给每个位置生成一个向量，直接加到词嵌入上，好处是可以外推到训练时没见过的长度，但表达方式固定、可学习性弱。可学习的绝对位置嵌入更灵活，代价是超出最大长度就没有对应参数。后来的相对位置编码和旋转位置编码换了个思路，把「两个位置的相对距离」直接编码进注意力打分的计算过程里，在长文本上更稳。
掩码解决的是另一个问题：训练时如果让模型看到后文，它只要抄下一个词就能把损失降到零，什么也学不到。因果掩码把上三角区域置为负无穷，softmax 之后权重为 0，等价于「第 t 位只能看到前 t 位」。加上这个约束后，一次前向就能同时得到所有位置的预测和损失，训练效率比逐时间步展开高一个数量级。编码器侧不需要掩码，所以能看到双向上下文；解码器侧必须有，这就是生成式模型和掩码语言模型的架构分界点。
3. 语义表示与预训练：为什么「先学语言再学任务」成了默认范式
语言模型解决的是「怎么算概率」，语义表示解决的是「词怎么变成有意义的向量」。这两条线在 2018 年前后合流：预训练阶段用语言模型目标在大规模无标注语料上学表示，微调阶段把这份表示迁到具体任务上。范式一旦成立，剩下的事就变成了堆规模。
3.1 统计语义的三级跳：TF-IDF、LSA/pLSA、LDA 各自卡在哪
TF-IDF 是最早的文档表示：词频乘以逆文档频率，前者衡量词在本文档里的重要性，后者压低「到处都出现」的停用词权重。计算简单，但向量维度等于词表大小，极度稀疏，而且它默认词与词正交——「汽车」和「轿车」在向量空间里毫无关系。
LSA 用矩阵分解破这个局：把词-文档矩阵做奇异值分解，截取前 k 个奇异值对应的子空间，词和文档都被投影到低维潜在语义空间。同义词在这个空间里会被拉到相近位置，因为它们的共现模式相似。问题是分解结果没有概率解释，主题是什么说不清，新文档进来要重算分解，代价高。
pLSA 引入概率生成视角：文档以某个分布选主题，主题再以某个分布选词，用 EM 算法估计「文档-主题」和「主题-词」两组参数。解释性强了，但文档的主题分布是逐文档独立的参数，参数量随文档数线性增长，过拟合风险大；新文档进来时主题分布没有现成参数，只能做近似推断。
LDA 在 pLSA 上补了一层贝叶斯：给文档主题分布 θ 加 Dirichlet(α) 先验，给主题词分布 φ 加 Dirichlet(β) 先验。参数总量不再随文档数增长，新文档可以通过推断得到主题分布再生成词，泛化能力明显更好。这也是它能长期用于主题分析和推荐的原因。但三级跳下来有个共同天花板：它们建模的是「词袋」，词序、句法、上下文一概不管，一词多义没法区分。
3.2 Word2Vec 的两个模型与负采样：一个小任务撬动了整个领域
2013 年某搜索公司团队提出的 Word2Vec 把词嵌入推成了标配。它有两个结构：CBOW 用上下文窗口内的词预测中心词，Skip-Gram 反过来，用中心词预测窗口内每个上下文词。前者训练快、对高频词友好，后者在小语料和低频词上表现更好，因为每个中心词会贡献多个训练样本。
真正的工程难点在输出层：原始 softmax 的分母要遍历整个词表，词表百万级时每步都算不动。负采样把「从 V 个词里选一个」拆成「判断这一对是不是真实共现」的二分类，每步只抽 k 个噪声词，k 通常取 5 到 20。损失写成 log σ(v_w·v_c) + Σ log σ(−v_neg·v_c)，前一项拉近真实共现的词对，后一项推开随机采到的词对。层次 softmax 是另一条路，用 Huffman 树把复杂度降到 log|V|，但实现更复杂，负采样在实践中更常见。
值得说清楚的是，Word2Vec 严格讲不算深度网络——它没有隐层，就是一个投影加一个输出。它的价值在于证明了「用预测任务当监督信号，能学出有语义结构的向量」，这个思路直接被后面的预训练继承。局限同样明显：一个词只有一个向量，多义词没法消歧；向量训练完就冻结，不能随上下文变化；建模粒度停在词级，短语和句子级语义覆盖不到。
3.3 ELMo 与 BERT：上下文相关和真双向的分水岭
ELMo 的第一步是让词向量随上下文变。它用字符卷积得到字符级表示，再送进两层双向 LSTM，从每一层提取特征，最后按可学习的权重加权求和作为下游任务的输入。同一个词在不同句子里得到不同向量，词义消歧、词形变化这类现象终于能建模了。但要注意它的「双向」是伪双向：前向 LSTM 只看左侧，后向只看右侧，两个方向独立训练，拼起来并不等于同时看到两侧。
BERT 用 Transformer 编码器把这个限制彻底去掉，每个位置在每一层都能同时看到左右两侧。为了保证「看到两侧」不会变成「抄答案」，预训练任务改成掩码语言模型：随机遮住 15% 的词，让模型还原。遮住的词里 80% 换成特殊占位符，10% 换成随机词，10% 保持不变，这样做的目的是让模型不能只依赖占位符这个信号，必须真正理解上下文。另有下一句预测任务判断两个句子是否相邻。规模上，Base 版 12 层、约 1.1 亿参数，Large 版 24 层、约 3.4 亿参数，预训练语料是约 8 亿词的书籍语料加 25 亿词的百科文本。
这套「预训练 + 微调」范式的关键转变在于：以前每个任务都要从头设计网络，现在只需要在预训练模型上加一个输出层、用小规模标注数据微调。表示学习从任务里被剥离出来，成了一项可复用的基础设施。
3.4 GPT 路线：从微调范式到提示范式
同一时期，另一条路走的是纯生成式。GPT 用 Transformer 的解码器堆叠，只做单向语言模型：给定前文，预测下一个词。第一代约 1.17 亿参数，仍然走「预训练 + 下游微调」的流程，但在若干任务上已经能追平专门设计的模型。
第二代把参数量推到 15 亿，语料换成约 40GB 的网页高质量文本，并且发现了一件当时很反直觉的事：模型大到一定程度后，不做任何微调，只靠给一段任务描述加几个示例，就能完成分类、翻译、问答。这叫零样本和少样本能力，它意味着预训练学到的不只是词义，还有「任务长什么样」这种元知识。
第三代把参数推到 1750 亿，把少样本能力推向极端：不更新任何参数，只把示例塞进上下文，模型就能在推理时「临时学会」任务。这条路的取舍很清晰——押注生成式目标函数足以隐式编码任务，代价是单向信息流、输出完全不可控，以及没人能保证它说的是真话。前两个代价由架构承担，最后一个代价，需要另一套机制来还。
| 阶段 | 代表模型 | 参数量级 | 使用范式 | 主要限制 |
|---|---|---|---|---|
| 词向量 | Word2Vec | 百万级 | 冻结向量接下游 | 一词一向量，无法消歧 |
| 特征式预训练 | ELMo | 千万级 | 提取特征做输入 | 伪双向，LSTM 串行 |
| 微调式预训练 | BERT / GPT | 亿级 | 预训练 + 任务微调 | 需要标注数据 |
| 提示式预训练 | 十亿级以上 | 十亿至千亿 | 零样本 / 少样本 | 输出不可控，有幻觉 |
4. 对齐：SFT 和 RLHF 到底在修正模型的什么
第三代模型能力很强，但直接拿来对话会出问题：它不知道什么时候该停，会把问题续写成更多问题，会一本正经地编造引用。原因不在能力，在目标——它被训练成「最大化下一个词的概率」，而不是「给出人类想要的回答」。对齐要解决的就是这个错位。
4.1 三阶段流水线：SFT、奖励模型与 PPO 各自优化什么
第一阶段是有监督微调。构造一批「指令 - 优质回答」对，用标准的最大似然训练，让模型学会对话的格式、语气和基本的指令遵循。这一步改的是分布形状：把模型从「网页文本续写器」拉成「问答助手」。数据量通常不大，几万条量级，但质量要求极高，因为模型会模仿标注风格里的所有习惯，包括啰嗦和讨好。
第二阶段是训练奖励模型。对同一个提示采样多个回答，让人工排序，然后训练一个打分网络，输入提示和回答，输出一个标量。损失用成对比较：让好回答的分数比差回答高出至少一个间隔，即 −log σ(r(x,y_win) − r(x,y_lose))。用排序而不是绝对打分，是因为人对「A 比 B 好」的判断远比「这个回答值 7.3 分」可靠。
第三阶段用强化学习优化策略。目标是最大化奖励模型的打分，同时加一个 KL 惩罚项，约束新策略不要偏离 SFT 模型太远：
# 三阶段的核心目标，示意写法，不是可直接运行的实现 # 阶段一：SFT，标准最大似然 loss_sft = -logprob(policy, prompt, demo_response).mean() # 阶段二：奖励模型，成对排序损失 r_win = reward_model(prompt, response_win) r_lose = reward_model(prompt, response_lose) loss_rm = -log(sigmoid(r_win - r_lose)).mean() # 阶段三：PPO，奖励与 KL 约束的平衡 ratio = exp(logprob(policy, y) - logprob(policy_old, y)) # 新旧策略概率比 adv = reward_model(prompt, y) - baseline # 优势估计 surr = minimum(ratio * adv, clip(ratio, 0.8, 1.2) * adv) # 裁剪防止单步更新过猛 kl = logprob(policy, y) - logprob(ref_policy, y) # 相对 SFT 模型的偏离 loss_ppo = -(surr - beta * kl).mean()三个参数决定这套机制的行为。clip的范围通常取 0.8 到 1.2，限制单次策略更新的幅度，防止一次坏样本把模型带偏。beta是 KL 系数，控制允许偏离参考模型多远：调大，回答更保守、更贴近 SFT 风格；调小，探索空间大，但容易出现奖励作弊——模型找到奖励模型的漏洞，输出人类看着别扭但打分很高的内容。baseline是优势估计的基线，用评论家网络或滑动平均估计，作用是降低梯度方差，让训练稳定。
4.2 幻觉不是 bug，而是训练目标的直接产物
理解了目标函数，幻觉就不神秘了。语言模型的训练信号是「下一个词的出现概率」，语料里正确的陈述确实概率高，但流畅、常见、格式规范的错误陈述同样概率不低。模型被优化的方向是「像人写的」，不是「符合事实」。这两个目标大部分时候重合，一旦分开，模型必然选前者。
具体来源可以拆成四层。数据层：语料里存在过时信息、互相矛盾的表述、长尾领域几乎没有覆盖，模型对这些区域只能靠模式补全。目标层：似然最大化不区分「我记得」和「我猜的」，两者在输出分布上是同一种东西。解码层：温度调高、top-p 放宽，会主动采样低概率 token，等于鼓励模型偏离最可能的答案，创造力上去了，编造也上去了。对齐层：奖励模型是人打分的拟合，人类偏好自信、结构完整、有细节的回答，于是模型学会了用确定的语气讲不确定的事，这在文献里被称为谄媚倾向。
四层叠加的结果是，幻觉没法靠单一手段消除。检索增强解决数据层，约束解码解决解码层，奖励模型加事实性惩罚解决对齐层，但目标层那个根本错位始终存在。
4.3 对齐税与数据构造：为什么指令多样性比数量重要
对齐不是免费的。强化学习阶段优化的是奖励模型给出的分数，而奖励模型只是人类偏好的近似，优化过头会把模型推到近似器的盲区，通用能力反而回退，这个现象通常叫对齐税。缓解手段是在 PPO 阶段混入预训练梯度，让模型在学对齐的同时不忘记语言建模，代价是训练复杂度上升。
指令数据的构造有几个容易忽略的细节。任务类型要覆盖生成、改写、抽取、推理、拒答，只堆问答会让模型把所有输入都当问题回答。指令措辞要有变体，同一件事用陈述句、疑问句、带约束的句式各写一遍，否则模型会对特定模板过拟合。长度分布要拉开，全是短指令会让模型在长文本任务上崩。拒答样本必须显式构造，模型不会自发学会说「这个我不能确定」，它只会学会更有信心地编。最后是去重和污染检查，指令里混进评测集原题，后面的所有指标都不可信。
5. 落地避坑：五个把论文效果打成事故的常见错误
从材料里的结论走到能跑的系统，中间隔着一堆不会写进论文的细节。下面五条都是反复出现过的翻车点，按「现象 → 原因 → 解决」拆开说。
5.1 分词器与词表错位：损失正常但生成是乱码
现象：训练损失曲线漂亮地下降，推理时输出却是重复符号、半个汉字或者直接空串。原因：训练端和推理端用了不同的词表文件，或者特殊符号（句首、句尾、填充、分隔符）的 id 对不上。词嵌入层是按 id 索引的，id 错一位，整个语义空间就错位，但训练时两端一致所以看不出来。解决：把分词器文件和模型权重一起版本化管理，服务启动时做一次编码-解码往返校验。
# 训练端与服务端必须使用同一份词表、同一份特殊符号配置 tok_train = load_tokenizer("vocab/train") tok_serve = load_tokenizer("vocab/serve") probe = "用户指令的边界符号不能被切碎" ids_train = tok_train.encode(probe) ids_serve = tok_serve.encode(probe) # 两个断言分别检查：编码一致、编解码可逆 assert ids_train == ids_serve, "分词结果不一致，先对齐词表再谈效果" assert tok_serve.decode(ids_serve) == probe, "往返不一致，特殊符号配置有问题"probe要选含中文、含标点、含特殊符号的句子，纯英文探测不出中文词表的差异。两个断言分别覆盖「id 序列是否一致」和「解码是否可逆」，后者能抓出特殊符号被当成普通文本切碎的问题。
5.2 位置编码外推：超过训练长度后困惑度突然爆炸
现象：训练长度 2048，输入 1500 时一切正常，输入 3000 时输出开始重复、答非所问，困惑度曲线出现断崖。原因：绝对位置嵌入的参数量等于最大长度乘以维度，超出部分没有对应参数，只能截断或复用，模型没见过这些位置，注意力分布直接失稳。解决：训练时就用目标长度，或者换相对位置编码、旋转位置编码这类能外推的方案；工程上更稳的做法是在服务层做长度截断加滑窗，配合分段摘要，而不是硬塞长输入。
5.3 只堆 SFT 数据量：损失降了，指令遵循反而变差
现象：有监督微调的样本从两万加到二十万，训练损失持续下降，但人工评测发现模型越来越啰嗦，遇到不该答的问题也开始编。原因：数据量上去的同时多样性没跟上，同一类模板被重复学习，模型对模板过拟合；同时低质量样本的比例被放大，模型学到了标注者的坏习惯。解决：先做聚类去重，按任务类型分层采样，控制单类占比；把拒答样本、简短回答样本、多轮样本按比例混进去；用小规模高质量数据先跑通评测，再考虑扩量。
5.4 评测集污染：分数虚高背后的黑匣子
现象：自建评测集上准确率 85%，换一套同领域的新题掉到 60%。原因：训练语料是从网上大规模爬的，评测集的题目和答案很可能已经在里面；指令微调数据如果来自公开问答社区，同样会撞题。解决：构建时间切分评测集（只用某个时间点之后的数据）、做 n-gram 重叠检测、保留一份完全不出现在任何训练流程里的私有测试集。指标只在私有集上对外报，公开集用来做回归对比。
5.5 解码参数照抄：温度和 top-p 决定同一个模型的两种人格
现象：同一个模型，一套参数下回答严谨但死板，另一套参数下活泼但爱编，团队里两个人复现出完全不同的效果。原因：温度控制 softmax 的平坦程度，温度高则低概率 token 被采样的机会变大；top-p 按累积概率截断候选集，p 越大候选越多。两者叠加会显著改变输出的稳定性，而很多代码默认值并不适合问答场景。解决：把解码参数写进配置并版本化，问答场景优先低温度加中等 top-p，创意生成再放宽；评测时固定解码参数，否则不同批次的对比没有意义。
6. 设计取舍：规模、架构与对齐成本之间的三角
把这条技术线拉直看，会发现每个关键决策都是取舍，不是最优解。自注意力用 O(n²) 的计算和内存换来了 O(1) 的路径长度和极致并行度，序列越长这个代价越明显，于是才有了各种稀疏注意力、滑窗注意力和线性近似——它们都在用表达能力换吞吐。循环网络反过来，复杂度线性、内存恒定，但串行结构注定吃不满硬件，长依赖还得靠门控硬撑。选哪个不取决于哪个更先进，取决于你的序列长度分布和延迟预算。
规模这一维同样不是单调的。参数上去，零样本能力会突然出现，但训练成本、推理延迟、部署门槛同步上升；数据质量的影响往往比参数量更大，同样算力下，清洗过的语料带来的提升经常超过把模型放大一倍。对齐成本更容易被低估：奖励模型要人来标排序，强化学习训练不稳定、超参敏感，KL 系数调不好就是能力回退。很多团队卡住的地方不是训不出模型，是训完之后没法稳定地让它听话。
验证一个说法是否可信，我通常看三件事：有没有控制变量的消融，指标是不是在未污染的数据上测的，失败案例有没有被完整披露。只报最好结果的材料，参考价值有限。
我早些年做过一次复现，损失曲线和参考实现几乎重合，就认定成功了，结果下游评测一塌糊涂。排查了两天才发现分词器的特殊符号配置不一样，训练端把句尾符号当成了普通标点。从那以后我每次启动训练前都强制走一遍编码解码往返校验，模型权重、词表、解码参数三者版本必须对齐才允许开跑——这个习惯省下的时间，比任何调参技巧都多。希望帮到你。
本文还有配套的精品资源，点击获取
