简介：这份 PPT 面向自然语言处理与大模型方向的学习者，系统梳理 NLP 四范式演进及大模型指令微调的基本脉络，帮助读者理解从传统机器学习、深度学习、预训练加微调到预训练加 Prompt 的技术变化。内容围绕指令微调展开，涵盖四范式对比、指令微调缩小下一词预测与指令遵循目标差距的作用、让模型行为更可控可预测的优势，以及较少重训成本下快速适配特定领域的特点，并简述由指令、输入、目标输出构成的指令数据集及有监督微调流程。资源包为 1 个 pptx 文件，约 2.65MB，页面结构紧凑、重点突出，适合课堂分享、入门自学或技术汇报前快速备课。已有 4262 人学习，可作为建立大模型微调整体认知、梳理关键概念与论文线索的轻量参考资料，便于后续延伸阅读。
1. 一句话说清指令微调：模型不是不会答，是没学会"照你说的方式答"
想象你招了个新人，书读得极多，知识面吓人，但你让他写一份周报，他给你续了三千字散文——他不是不会写，是没学会按你的规矩写。大模型指令微调（Instruction Tuning）解决的就是这件事：在一批"指令—回答"配对样本上再做一轮有监督训练，把"会接话"的语言模型，调成"会照办"的助手。
它和从头训练完全是两码事，成本低得多，却能明显改变模型的输出风格与可控性。很多人一遇到效果不好就想着推倒重训，其实八成问题出在"没对齐"这一步。搞懂指令微调，你就知道该在哪一层动手，也就不会把预算花在错误的工序上。
2. NLP四范式：从tf-idf到Prompt，指令微调踩在哪级台阶上
要理解指令微调为什么会出现，得先看一眼自然语言处理这条路上，人们是怎么一级一级往上爬的。学术界习惯把这段历程分成四个范式，每一级都是被上一级的瓶颈逼出来的。这不是为了背概念，而是因为指令微调的位置很特殊——它用的是第三范式的手艺，服务的却是第四范式的模型。
2.1 前两个范式：人肉设计特征的时代
第一范式是传统机器学习唱主角。典型做法是把一句话拆成词，用 tf-idf 算出每个词的权重，再丢给朴素贝叶斯之类的分类器。这套东西跑得快、结果可解释，至今在文本分类的基线上还有位置。问题也很直白：它把一句话当成一袋词，语序、上下文、指代关系全丢了。"苹果手机降价了"和"苹果降价了"，在它眼里区别可能只在于多了一个词。
第二范式换成了深度学习。词先被 word2vec 这类方法变成稠密向量，语义相近的词在向量空间里离得近；再用 LSTM 这样的序列模型去读，模型开始有"记忆"，能处理前后依赖。相比第一范式，准确率上去了，人工做特征工程的工作量也少了很多——以前要人盯着设计规则，现在模型自己学。
但第二范式有个隐痛：每个任务都得单独训一个模型，而且很吃标注数据。想做情感分析，标一批；想做意图识别，再标一批。任务一多，标注成本和维护成本就压上来了。
2.2 第三范式：先学语言，再学任务
第三范式的核心动作是"预训练 + 微调"。先用海量无标注文本做自监督学习，让模型把语言本身的规律吃进去，这一步不需要人工打标签；然后再拿一个几千条量级的小数据集，在具体任务上微调一轮。代表做法是编码器类预训练模型接一个下游任务头，做分类、做抽取。
这一级台阶的意义在于：小数据集就能训出好模型。因为语言能力已经预置好了，微调只需要教会模型"这个任务怎么输出"。代价是模型参数量涨得厉害，而且每个任务存一份权重，部署时一堆副本，运维上很头疼。更根本的是，它仍然延续了"一个任务一个模型"的思路。
2.3 第四范式：把任务改写成一道填空题
第四范式换了个思路：不改模型参数，改输入的形式。把"这句话是正面还是负面"改写成"这句话的情感是___"，让模型去补那个空，或者干脆用续写的方式让模型接着往下写。这种做法叫 Prompt，好处是训练所需的数据量进一步显著减少，甚至零样本就能试一把。
到这里，台阶的位置就清楚了：指令微调本质上是第三范式里的"有监督微调"这门手艺，但它服务的对象是第四范式的大模型。它要教的不是某个具体任务，而是一种通用能力——看见"指令"这两个字，就按指令要求的格式和边界去回答。这个区别很关键，也是后面很多误解的源头。
3. 大模型的四段流水线：指令微调在这条线上排第几
一个能聊天、能办事的大模型，不是一次训练出来的，而是走完一条四段式流水线：预训练、有监督微调、奖励建模、强化学习。指令微调就是第二段。搞清它在流水线上的位置，你才知道它管什么、不管什么。
3.1 预训练：把"下一个词预测"练到极致
预训练的目标朴素得惊人：给一段文本，遮住后面，让模型猜下一个词是什么。喂进去的是海量无标注文本，模型在这件事上反复练习，慢慢就学会了语法、常识、事实之间的关联，甚至学会了一些推理的苗头。
打个比方，这就像一个人把整座图书馆的书读了一遍。他知道的东西极多，但你让他帮你写一封得体的道歉信，他可能给你写出一篇关于道歉文化的说明文。原因很直白：他的训练目标里，从来没有"听懂要求"这一项，只有"接得顺"。
所以预训练出来的模型有三个典型毛病：不按指令来、输出不可控、容易一本正经地编。这不是模型笨，是它的优化目标和用户的期望之间有一道缝。
3.2 有监督微调：把"会接话"调成"会办事"
有监督微调（Supervised Fine-Tuning，简称 SFT）就是来补这道缝的。做法很直接：准备一批"指令—回答"样本，人工写或者半自动生成，然后照常做有监督训练，让模型在这些样本上继续更新参数。
训练目标和预训练几乎一样，还是预测下一个词，只不过这次预测的是"人类期望的那段回答"。模型在一次次比对中，把输出的分布往"符合指令"的方向挪。挪动的结果不是你问它什么它都知道，而是它知道该怎么组织一个回答、该用什么口吻、该在什么时候停。
这里有个容易被忽略的细节：训练时通常只对"回答"部分计算损失，指令部分是不算的。因为指令是输入条件，不是要模型学会复述的东西。这个设计看着小，实际影响很大，后面讲数据格式时还会碰到。
3.3 奖励建模与强化学习：为什么还要多拧两道
SFT 之后模型已经能听话了，为什么流水线还有两段？因为 SFT 只能教模型"像那么答"，教不了"哪种答法更好"。同一个问题，十个回答都合理，但有的更简洁、有的更安全、有的更符合人类偏好。SFT 分不出这个高低。
奖励建模就是干这个的：让人对同一问题的多个回答排序，用这些偏好数据训一个打分模型。强化学习再拿这个打分模型当裁判，去优化生成策略，让模型倾向于产出高分回答。
这条路线不是唯一选择，但它的思路值得理解：SFT 解决"会不会"，偏好优化解决"好不好"。指令微调属于前者，别指望它一个人把两件事都干了。
3.4 三重好处：为什么这一步绕不过去
指令微调的价值，公开研究里归纳得比较清楚，一共三条。
第一条是弥合目标差距。模型的目标是预测下一个词，用户的目标是让模型照着指令办事，这两件事天然不完全一致。在指令数据集上微调，就是把这两头往中间拉。
第二条是行为可控可预测。指令本身就是一种约束，它把模型的输出限制在期望的响应特征或领域知识范围内，等于给人类留了一个介入模型行为的通道。想让模型的回答更正式、更简短、更偏向某个专业口径，改指令数据和风格样本比起改架构现实得多。
第三条是算力上高效。它能在不做大规模重训、不动模型架构的前提下，让模型快速适配某个特定领域。这一点对实际项目影响最大——你不需要重新烧一遍预训练的钱，只需要准备好一批高质量指令样本。
提示：这三条好处经常被误读成"指令微调能往模型里灌知识"。它更擅长的是改变行为方式和输出格式，知识的补充是有限度的，尤其是频繁变动的事实类知识。
4. 指令数据集长什么样：三个零件、两条路线与一场有监督训练
指令微调的效果，七分看数据，三分看训练。这句话在实践里被反复验证。所以这一章把数据这件事拆开看：一条样本由什么组成，数据从哪来，造好之后训练又在算什么。
4.1 一条样本的三件套：instruction、input、output
指令数据集里的每个实例，标准结构包含三个元素。第一个是指令本身，一段自然语言，用来说明任务是什么，比如"为某某写一封感谢信""以某个主题写一篇短文"。第二个是可选的输入，为上下文提供补充信息，比如要改写的那段原文、要总结的那篇材料。第三个是期望输出，也就是基于指令和输入，你希望模型给出的那个答案。
写成结构化格式大概是这样：
{ "instruction": "把下面这段产品说明改写成给小学生看的版本", "input": "本设备支持双频并发，理论吞吐可达三千兆。", "output": "这个设备能同时用两种信号通道，速度快到差不多一秒钟就能传完一部短片。" }instruction是任务描述，必须无歧义；input是可选字段，像开放式写作这类任务可以留空，但涉及"对给定材料做处理"的任务就必须填；output是监督信号，它的质量直接决定模型学到什么。三个字段的分工不能乱：把任务要求写进input、把材料塞进instruction，模型学出来的行为会很别扭。
4.2 路线一：给现成标注数据套模板
第一条造数据的路子是手动构建，更准确说是"集成"。手里已经有一批带标注的自然语言数据集，比如文本—标签对，用模板把标签翻译成自然语言回答，就得到了（指令, 输出）对。
举个例子，手上有个情感分类数据集，一条样本是"这句话写得真让人失望"，标签是"负面"。套一个模板："判断下面这句话的情感倾向：{文本}"，输出写成"负面"。批量跑一遍，几千条指令样本就有了。
这条路线的好处是便宜、稳定、质量可控，标签是人工标的，噪声水平心里有数。缺点是模板太单一。如果所有样本都用同一个句式，模型很快会学到"看到这个句式就吐那个词"，而不是真的理解任务。上线后换个问法，效果可能就掉下来。
补救办法是模板多样化：同一个任务准备十几种问法，句式、语气、长度都变一变；输出也别只有标签，有时给标签，有时给一句解释，有时要求先分析再给结论。这种"同一件事换个说法"的扩充，比单纯堆数据量有用得多。
4.3 路线二：让大模型自己出题自己答
第二条路子是自动构建，用现成的大模型来生成。指令可以有两个来源：一是人工收集，二是拿一小批手写的种子指令，让大模型去扩展出更多同类型的指令。指令收集好之后，再喂给大模型，让它生成对应的输出。
这条路子快，多样性也好，尤其适合那些难以人工编写标准答案的开放式任务。但它的风险同样明显：模型生成的输出会继承模型本身的偏差、风格和错误。种子指令如果偏窄，扩出来的指令也会挤在同一个角落，看着数量很多，实际覆盖面很薄。
所以自动生成的数据通常要过几道筛子：去重（语义层面的去重，不只是字符串比对）、过滤（剔除过短、过长、格式错乱、答非所问的样本）、抽检（人工看一批，评估合格率）、配比（不同任务类型的数据量要平衡，别让某一类淹没其他类）。
注意：自动生成的数据里，最坑的不是明显错误的样本，而是那些"看起来很像样但细节错了"的样本。前者一眼能筛掉，后者会被模型当成正确答案学进去，事后很难定位。
4.4 从数据到参数：高效微调三大家族
数据准备好，就进入训练。全量微调的意思是所有参数都参与更新，效果上限高，但显存和算力开销也高，普通团队很难对一个大模型做全量微调。于是就有了参数高效微调这一支：冻结大部分原始参数，只优化一小部分，把模型适配到下游任务。
按改动方式，主流做法可以归成三大家族。
第一类是添加式。它在原始模型里插入原本不存在的可训练参数或模块，比如 Adapter 微调在层间插入小的适配模块，基于 Prompt 的微调则引入可训练的提示向量。原来的权重一动不动，新增的部分负责学新任务。
第二类是规范化。它不新增模块，而是指定某些固有参数去调整，最典型的是只训练偏置项。参数量小到可以忽略，实现简单，适合作为低成本的基线先跑一遍看看。
第三类是重参数化。它的关键假设是：模型适配所需的变化是低秩的，所以权重更新可以分解成低秩因子或低维子空间来表示。代表性做法是 LoRA，训练时只学两个小矩阵，推理时再把它们合并回原权重。
配置长这样，不同框架里的字段名略有差异：
# 伪代码：仅示意参数含义 lora_config = { "r": 8, # 低秩矩阵的秩，越小越省显存，常见取值 4~64 "alpha": 16, # 缩放系数，常见做法是设成 2*r "dropout": 0.05, # 防止过拟合，小数据集上可以调大 "target_modules": ["q_proj", "v_proj"], # 决定把低秩矩阵插在哪些线性层 "bias": "none", # 偏置项不参与训练 }r控制表达能力和参数量的平衡，任务越复杂、数据越多，可以适当调大；target_modules决定插入位置，只插注意力层的部分投影层是最常见的省算力做法；alpha与r的比值影响缩放强度，改了r记得同步调整它。这套配置翻车的典型场景是：r开得很大但数据只有几百条，训练损失降得漂亮，验证集一塌糊涂。
| 类型 | 代表做法 | 改了什么 | 适合场景 |
|---|---|---|---|
| 添加式 | Adapter、Prompt 微调 | 插入新的可训练模块或向量 | 多任务切换，需要按任务保存小模块 |
| 规范化 | 只训偏置项 | 只更新原有的偏置参数 | 快速试水、资源极紧的基线 |
| 重参数化 | LoRA | 用低秩分解表示权重更新 | 单任务适配，想要接近全量微调的效果 |
5. 易混概念辨析：微调、提示词、RAG、继续预训练差在哪
这一章专门处理最容易混的几组概念。它们的共同点是：都能让模型"变得更好用"，所以经常被当成同义词换着说。但动手时选错了，钱和时间就白花了。
5.1 易混一：指令微调与提示工程
易混点在于两者都在"给模型下指令"，形式上看起来一模一样。混淆的原因也简单：调提示词五分钟就能试一次，效果立竿见影，于是很多人以为这就是微调。
区分看一个动作：参数有没有变。提示工程改的是输入，模型权重一个字节都不动，关掉对话框什么都不剩；指令微调改的是参数，训练完产出一个新的权重文件。判断标准也很实际：如果你的问题是"模型不知道某条业务规则"，而那條规则可以写进提示词，先用提示工程；如果是"每次都要贴三千字说明它才答对"，说明这个行为该沉进参数里了。
5.2 易混二：指令微调与检索增强
易混点是两者都能让模型答出它原本不知道的内容。混淆的原因是效果表现相似——问一个冷门问题，两种办法都能给出像样的答案。
区分看知识放在哪。指令微调是把知识压进参数，训练完知识就固化了，要更新得重新训；检索增强是把知识放在外部库里，问答时先查再答，改一条文档第二天就生效。所以判断标准是知识的变动频率：稳定不变的领域表达方式、输出格式、专业口径，适合微调；每天变的价格、库存、政策条款，适合检索。硬把高频变动的知识微调进参数，等于给自己埋了一个必须反复返工的坑。
5.3 易混三：指令微调与继续预训练
易混点是两者都是在已有模型上"再训一轮"。混淆的原因是都叫微调，工具链也长得像。
区分看有没有标签、学的是什么。继续预训练用的是无标注的领域文本，目标还是预测下一个词，学到的是这个领域的词汇分布、表达习惯、行文风格；指令微调用的是有标注的指令—回答对，学到的是"接到这类要求该怎么回应"。顺序上通常也是先继续预训练再做指令微调：先让模型熟悉这个领域的语言，再教它按指令办事。只做前者，模型说话像行业里的人但不会办事；只做后者，模型会办事但一张口就是外行话。
5.4 易混四：全量微调与参数高效微调
易混点是名字里都有微调，很多人以为只是省钱版和完整版的差别。混淆的原因是效果对比在不同任务上结论不一致，听到的说法互相打架。
区分看改了多少钱、留下了什么。全量微调更新所有参数，效果上限更高，但每个任务都要存一份完整权重，多任务部署时存储成本翻倍。参数高效微调只动一小部分参数，产出的适配模块通常只有几十兆，可以一个底座模型挂多个模块按需切换。实务上的建议是：先用参数高效微调跑一版看效果，如果指标卡在明显偏低的位置且数据量充足，再考虑上全量。
5.5 易混五：数据越多越好
易混点在于"数据量"这个指标太直观，容易变成唯一的努力方向。混淆的原因是早期深度学习确实有"数据喂饱了效果就涨"的经验。
区分看数据的构成而不是条数。指令微调里，一千条覆盖几十种任务类型、问法各异的样本，往往打得过一万条同一个模板批量生成的样本。后者会让模型过拟合到格式上：看到类似的句式就条件反射地输出，换个说法就懵。所以评估数据时，先看任务类型的覆盖度、问法的多样性、输出风格的一致性，最后才看总量。
6. 什么时候该上指令微调：三个该用的信号与三个别硬上的场景
判断要不要做，我一般看三个信号。第一，模型的输出格式总是不对，你每次都要在提示词里写一大段格式说明，写完还不一定稳——这是行为问题，该沉进参数。第二，你有稳定的领域任务，且这个任务的输入输出模式固定，比如把某类工单转成结构化的处置建议。第三，你手上已经有几百到几千条高质量的人工样本，或者有明确的标注预算。三个信号占两个，就值得试一版。
反过来，这几种情况别硬上：
| 场景 | 为什么别硬上 | 更合适的做法 |
|---|---|---|
| 知识每天在变 | 参数里的知识无法按天更新 | 外部检索加提示词 |
| 只有几十条样本 | 数据太少，模型只会背样本 | 先补数据，或只调提示词 |
| 问题是一次性的 | 训练成本换不回收益 | 直接调提示词试几次 |
| 想提升推理能力 | 指令微调改的是行为不是智力 | 换更强的底座模型 |
最后提醒一个我踩过的坑：不要拿训练集上的表现当验收标准。有一次我在一个模拟项目里，训练损失降得很顺，输出格式也整齐，我以为成了，结果换了几种口语化的问法，模型立刻露馅，答得驴唇不对马嘴。回头看，数据全是同一个模板生成的，它学的是模板，不是任务。
从那以后我每次做完指令微调，都强制走一遍"换十种问法"的抽检，问法里必须有口语的、有带错别字的、有把两个要求揉在一句话里的。这一步花不了多少时间，但能提前把大部分翻车挡在上线之前。希望帮到你。
本文还有配套的精品资源，点击获取
