大模型核心原理-关键技术解析：预训练、SFT、RLHF-平芜编程栈

大模型关键技术：预训练、SFT与RLHF

自从 ChatGPT 问世以来，大语言模型（LLM）似乎在一夜之间改变了世界。目前的LLM训练流水线（Pipeline）通常遵循 OpenAI 提出的范式：Pre-training → SFT → RLHF。本文主要介绍这三个关键阶段：预训练（Pre-training）、监督微调（SFT）和基于人类反馈的强化学习（RLHF）。

第一阶段：预训练（Pre-training）

核心逻辑：Next Token Prediction

大模型诞生的第一步，是把它扔进海量数据中。在这个阶段，研究人员会收集互联网上几乎所有的文本数据——维基百科、书籍、新闻、代码库等等，总量达到万亿级别（Tokens）。

预训练的核心是自监督学习 (Self-Supervised Learning)，具体的训练任务通常是自回归语言建模 (Autoregressive Language Modeling)。模型通过计算前 i - 1个token的上下文，通过 Transformer (Decoder-only) 架构，计算第 i 个token在词表（Vocabulary）上的概率分布。简单来说，就是“预测下一个字是什么”。

技术关键词：Transformer 架构、无监督学习（Unsupervised Learning）、自回归（Auto-regressive）。
产出物：基座模型（Base Model）。
特点：它具备了极强的概率预测能力和知识储备，但本质上是一个“文本生成器”，而非“对话助手”。

第二阶段：监督微调（SFT, Supervised Fine-Tuning）

核心逻辑：指令跟随（Instruction Following）

拥有了基座模型后，我们得到了一个“懂很多知识，但不懂怎么对话”的天才。SFT 的目的，就是教会它如何 “听懂人话” 并 “按要求回答”。

在这个阶段，由于数据质量要求极高，通常需要人工介入。人类标注员会编写成千上万个高质量的“问答对”（Prompt-Response Pairs）。SFT 的本质是全监督学习 (Fully Supervised Learning)。

与预训练的区别：预训练的数据是无标注的纯文本，SFT 的数据是 Prompt-Response Pairs，示例如下：

训练数据示例：
Prompt（指令）：请把下面这句话翻译成英文：今天天气不错。
Response（回答）：The weather is nice today.

模型通过学习这些样本，开始理解：原来当用户使用祈使句时，我应该执行任务，而不是续写文本。

技术关键词：提示词工程（Prompt Engineering）、指令微调（Instruction Tuning）。
产出物：对话模型（Chat Model）。
特点：此时的模型已经可以和人类流畅对话了。但它可能还不够完美，有时会一本正经地胡说八道（幻觉），或者说话语气像个机器人，缺乏“情商”。

第三阶段：RLHF（基于人类反馈的强化学习）

核心逻辑：奖惩机制（Reward & Policy Optimization）

这是让大模型从“可用”进化到“好用”的关键一步，也是 OpenAI 当年拉开差距的杀手锏。

SFT 虽然有效，但人类语言太复杂了，要把所有正确答案都写出来是不可能的。而且，有些回答没有标准答案（比如写一首诗），只有好坏之分。

RLHF 包含如下步骤：

训练奖励模型（Reward Model - RM）：
模型针对同一个问题生成几个不同的回答。人类标注员会对这些回答进行排名（A比B好，B比C好）。然后训练一个独立的“奖励模型”，让它学习人类的评分标准。
强化学习（PPO - Proximal Policy Optimization）：
让大模型生成回答，奖励模型给它打分。如果分数高，模型就加强这种回答方式；如果分数低，就调整参数。