大模型这三个字，现在几乎是个人都在聊。我自己的感受是，很多朋友第一次被大模型震撼，是觉得“它好像什么都会”；而真正开始系统学习的时候，又一下卡在“论文太多了，到底先读哪一篇”“技术名词太密了，全是英文缩写”这种阶段。我把这段时间啃下来的发展史整理成了一份完整的学习笔记，尽量把从语言模型到 ChatGPT，再到开源大模型爆发这条线捋清楚。这篇文章不是教你 prompt 技巧，也不是单讲某个模型怎么部署，而是把“大模型是怎么一步步变成今天这个样子”的底层逻辑和关键拐点讲明白。适合刚入门想建立整体认识的同学，也适合已经会调 API 但想补一补原理的人。
1. 大模型的底层逻辑：为什么偏偏要叫“大”模型
1.1 语言模型到底在做一件什么事
先别急着聊“智能”“涌现”“AGI”这些大词。所有大模型的起点，其实只是一件事：预测下一个词。你把一句不完整的话喂给它，让它算出下一个词最可能是哪个。比如你输入“今天天气真”，模型要算“好”“不错”“热”“冷”这些候选词的概率，然后挑一个概率最高的。就是这条极其朴素的规则，撑起了今天所有的对话、写作、代码生成和智能体应用。
整个大模型的发展史，本质上就是围绕“如何把下一个词预测得更准”展开的。早期方法是统计：把语料里所有相邻词共现的次数数一遍，算条件概率；后来变成神经网络：让模型自己从数据中学习词和词之间的复杂关系；再后来，就是不断提高神经网络的身份、参数量和训练数据规模。判断大模型强不强的标准，最早也很简单——看它对下一个词的预测有多准。
明白了这一点，后面很多概念就都能串起来了。预训练是在练预测能力，指令微调是教它“按照人类指令说话”，RLHF 是教它“说符合人类偏好的话”。它们全都是建立在“预测下一个词”这个基础之上的层层加码。
1.2 规模、数据、算力，一个都不能少
为什么偏偏 2022 年底 ChatGPT 能火，而不是 2012 年或者 2002 年？因为大模型是一门“大力出奇迹”的工程学问，三个条件缺一不可。
第一是模型规模。从最早几亿参数，到 GPT-3 的 1750 亿参数，再到如今万亿参数级别的大模型，模型能记住的模式越来越复杂。但参数大并不意味着聪明，还需要足够的数据去“喂饱”它。第二是数据。互联网上积累了海量的文本、代码、图片，这是以往任何一个时代都不具备的。模型吃进去的语料越多，对世界知识的覆盖就越全面。第三是算力。把几千亿参数放到几万个 GPU 上，用几个月时间训练，背后是 GPU 性能、分布式训练框架、网络通信技术的整体进步。2012 年训练一个大模型可能要几个月，如今同样规模可能要几周甚至几天，靠的就是硬件和软件的双轮驱动。
我整理笔记时给自己画了一条公式：大模型能力约等于模型结构加训练数据加算力投入，三者缺一不可。真有突破，往往也是三方面同时往前拱了一步。
2. 前史阶段：从规则、统计到神经网络
2.1 规则时代和统计时代的交替
现在看起来简单粗暴的“预测下一个词”，在早期其实走了非常曲折的路。上世纪五六十年代，主流的自然语言处理思路是“写规则”。语言学家和工程师把语法规则一条条写进程序，比如主语后面必须跟谓语、谓语后面必须跟宾语。这种方法在小范围领域能跑通，但一旦遇到真实世界中千奇百怪的句子，规则就会爆炸，根本无法穷举。我把它理解成“用人力硬刚语言的复杂性”，效果可想而知。
到了七八十年代，统计学派开始抬头。数学家和工程师说：我们不手工写规则了，让机器自己在语料里数词频。于是出现了 n-gram 模型，也就是看一眼前面一两个词，去猜下一个词。比如看“我”后面最常出现的是“是”“想”“有”。这种方法在简单场景下管用，但窗口非常有限，长距离依赖完全处理不了。句子稍微长一点，它就“记不住”前面到底说过什么，因为它根本没有任何形式的长期记忆。
我推荐所有想学大模型的人，都回头看一眼 n-gram 模型。它虽然简陋，却把“语言模型”这个概念刻进你的脑子里：语言模型就是在算“一个词后面跟着另一个词”的概率。后面所有复杂结构，都是对这个任务的升级和改造。
2.2 词向量与神经网络语言模型的登场
统计方法的问题在于“离散”。词被表示成一个个独立的编号，“猫”和“狗”在计算机看来毫无关系，更不用说“苹果”在不同语境下既可以是水果也可以是手机品牌。2003年 Bengio 等人提出了神经语言模型，用神经网络去预测下一个词，同时训练一种叫“词向量”的表示，把每个词映射到高维空间里的一个向量。这样，“猫”和“狗”这两个向量距离很近，因为它们经常出现在类似的语境里。
真正的破圈是 2013 年的 word2vec。Google 的那篇论文，让词向量变成了一个家喻户晓的概念。经典例子是“国王”减“男人”加“女人”约等于“女王”，说明模型在词向量空间里学会了词语之间的类比关系。我当时第一次看到这个例子，确实很震撼。但我后来读论文时才明白，word2vec 只是“表层的语义捕捉”，它没有上下文建模能力。同一个词在不同句子里的含义，它无法区分。它依然是个“词袋”，不是真正的语言理解。
2.3 RNN/LSTM 的瓶颈：算得慢，记不住，还并行不了
为了解决“上下文”问题，循环神经网络（RNN）被推上台面。RNN 的思路是把句子按顺序一个字一个字读进去，每读一个词，就把“当前的印象”更新到隐藏状态里，再把这个状态传给下一个词。这样理论上，每个词都能“看到”它之前的所有词。2014 年，研究者进一步提出 LSTM 和 GRU，加入“门控机制”，让信息能更稳定地在长距离上传递。当时的机器翻译、语音识别、文本生成，几乎全靠 LSTM 撑场面。
但 RNN 有两个很致命的先天缺陷。第一是顺序计算：必须从第一个词开始，一个接一个处理，后面的词必须等前面算完，导致 GPU 上并行能力极差。训练速度就是上不去。第二是长期依赖问题：虽然 LSTM 缓解了很多，但面对非常长的句子，早期信息还是会慢慢“磨损”掉。这就像一个人一边看书一边尝试回忆第一页的内容，翻到第一百页时，第一页的印象已经模糊得不成样子。
2.4 Transformer：注意力机制是如何改变一切规则的
2017 年，Google 发表了一篇名字特别直白的论文：《Attention is all you need》。这篇文章提出了 Transformer 架构，直接放弃了 RNN 的顺序结构。它只做一件事：让每个词都和句子里所有词建立“注意力”关系。
注意力机制可以粗浅地理解为“自查询”：句子里的每个词，输出一个查询，再去匹配句子里的所有词，算出每个位置的重要程度。比如翻译“我吃苹果”，在理解“吃”的时候，模型会发现“苹果”最值得关注，然后把这个信息融合进来。所有位置的计算互相完全独立，可以在 GPU 上大规模并行执行，训练速度一下子快了几个数量级。同时每一个词都能直接看到整个句子的全部信息，长距离依赖问题也顺带解决了。
我自己的体会是：Transformer 之所以是革命性的，不是因为它某个具体的设计有多精巧，而是它把“顺序处理”这件事彻底干掉了。注意力机制让模型可以“跳着看”，可以“全局看”，还可以“并行看”，这直接决定了后续大模型能靠“堆参数、堆数据”来提升能力。如果你只读一篇论文，我建议读这篇；如果只读两篇，把之后的 BERT 或 GPT 论文也读了。
3. 两条路线分岔：GPT 与 BERT，谁赌对了未来
3.1 预训练加微调：大模型的第一波胜利
Transformer 提出来之后，自然语言处理进入了一个新范式：预训练加微调。先用海量无标注文本训练一个大规模语言模型，这叫预训练；然后针对具体任务，比如情感分类、问答、翻译，拿少量任务数据去微调。这个思路像你先去一所大学里广泛学了各种通识课，再针对具体职业做岗前培训。
2018 年，OpenAI 发布了第一代 GPT，Google 随后发布了 BERT。这两个模型用的是同一个基础架构 Transformer，却在“读句子”的方式上分道扬镳。也正是这两条路线的竞争，决定了大模型日后的走向。
3.2 BERT：读两头，擅长理解但不擅长生成
BERT 走的是“双向编码器”路线。它的训练方法很好玩：把一句话里的部分单词随机“盖住”，比如“我今天[被盖住]了午饭”，然后让模型猜被盖住的是什么。因为能看到上下文两侧的信息，所以叫“双向”。这个任务叫掩码语言模型。BERT 在大量任务上刷新了纪录，尤其擅长做分类、抽取这类“读句子”的任务。它像一个特别强的阅读理解选手，你给它一段文字和几个选项，它能选得非常好。
但 BERT 有个天然短板：它本质上没有学习过“生成”这件事。它见过被盖住的词，但没见过“从零开始写一篇文章”到底是什么感觉。所以如果你想用它做文本生成，通常还需要再接上一个额外的解码器，效果远不如原生生成模型自然。这件事后来被证明非常致命。
3.3 GPT：从左到右，一路生成到底
GPT 走的和人类阅读习惯一致的方向：只看左边词，预测右边词。每一个词在生成时，只能看到它前面的词，这叫自回归。GPT 不做分类，它只做一件事：把语言模型一直练下去，从头到尾生成连贯文本。
第一代 GPT 的参数量和语料规模都不算大，效果甚至不如 BERT。但 GPT 坚持用“生成”作为训练目标，这个看似朴素的坚持，最终被证明是决定胜负的一招。GPT-2 的出现让文本生成质量有了肉眼可见的提升；GPT-3 直接把参数拉到了 1750 亿，训练数据也大幅扩大到几千亿 token。
3.4 为什么“会生成”反而比“会理解”走得更远
这是我自己在整理笔记时花了不少时间才想明白的问题。BERT 看起来在所有任务上都很强，但有一个致命局限：它只能解决“被定义好的任务”。你需要告诉它“这个句子是正面的还是负面的”，它才能做分类；你需要告诉它“这段文字里哪个是人名”，它才能做抽取。也就是说，每个新任务都要重新微调、准备标注数据。
但 GPT 不一样。因为它产出的永远是一段文本，所有任务都可以被重新组织成“给模型一段输入，让它生成一段输出”。翻译是“把这句话翻译成英文”，问答是“回答这个问题”，写代码是“根据这个注释生成函数”。这叫作“统一任务接口”。
到了 GPT-3，更惊艳的事情发生了：模型完全没有针对任务微调，只靠你在 prompt 里多举几个例子，它就能照猫画虎地完成任务。这被称作“上下文学习”。为什么会这样？因为预训练数据里已经包含了海量人类写过的“问答、翻译、对话”文本，模型早就在这一大堆数据里学会了这类任务的模式。换句话说，它不需要你教它怎么做一个新任务，它只需要你告诉它现在具体要做哪一个。生成式模型的这种“兼容一切任务”的能力，让它在后面的路上毫无瓶颈。而 BERT 的“任务理解”天花板，让它慢慢淡出了大模型的主舞台。
4. 能力的三次跃迁：预训练、指令微调、人类对齐
4.1 预训练只能让模型“会说话”，不会“听人话”
GPT-3 很强，能写出通顺的文章、能续写故事，但它并不是一个合格的“助手”。你问它“2 加 2 等于几”，它可能会一本正经地胡说八道一个答案，再附带几句看起来很科学的解释。它最大的问题是：只会顺着你的话持续输写下去，而不是针对你的需求给出答案。这就好比一个人满腹经纶，但你问他什么事，他想到哪说到哪，从不关心你是不是真的在问那个答案。
所以预训练语言模型学会的是“语言的统计规律”，不是“用户的意图”。它只是在模拟“人类文本长什么样”，并没有被训练成“在这个场景下应该回答什么”。这导致它没法直接作为产品使用。
4.2 指令微调：教模型学会“服从指令”
既然模型不知道用户想问什么，那就干脆构造一批“指令加回答”的数据，专门让模型学。比如人工写下“请帮我总结以下文章”和对应的总结，写一百万个这种样例，再用这批数据去微调模型。方法听起来简单，但效果立竿见影。经过指令微调的模型，开始表现出“理解用户需求”的样子，你让它做什么，它的输出模式会明显往“完成任务”的方向靠。
指令微调的本质，是把预训练阶段学到的海量语言知识，与“人类期望的输出方式”对齐起来。这个过程不改变模型的世界知识，只改变它的行为习惯。我自查笔记时，把这一步比作一个学霸毕业后入职公司：知识一点没少，但学会了按同事的要求写周报、做 PPT、开会发言。
4.3 RLHF：让模型不被“变聪明”带偏
指令微调让模型听指令了，但问题还没完：考试满分的人不一定是个有耐心、会道歉、能承认自己错误的人。2022 年，OpenAI 发表了一篇关于 InstructGPT 的论文，把强化学习引入了语言模型微调，这个流程叫“基于人类反馈的强化学习”（RLHF）。
RLHF 三个阶段回看：
第一，先让模型生成好几个不同回答，然后让标注员给这些回答按“好坏”排名。第二，用这些排名数据训练一个“奖励模型”，代替人类去做后续的打分。第三，用强化学习算法去微调语言模型：设定目标，让模型学会输出那些奖励模型打分更高的回答。一句话概括，就是让模型自己摸索出“人类觉得更好”的回答方式。
很多人困惑，为什么要绕这么大一个圈子，直接用标注好的好答案去微调不行吗？我最初也这么想。后来整理笔记时才理解：直接用标准答案微调，模型只是记住了那条特定的回答；而用 RLHF，模型是在一个广阔的输出空间里自己摸索“怎么样人类会更满意”，它会学会一些不在标注数据里的微妙规律，比如更诚实、更委婉、更主动澄清问题。这个流程成本非常高，需要大规模人工标注和大量的训练运算，但正是它把 GPT-3 变成了 ChatGPT。
4.4 多模态：从“只看文字”到“看图、听音、算代”
大模型真正破圈，不只是靠文本对话。GPT-4 发布时，大家发现它居然能“看懂”图片：你给它一张梗图，它能解释笑点；给它一张图表，它能看懂走势。这类同时处理文字和图片的模型，叫多模态大模型。多模态这条路不是 2023 年突然冒出来的，实际上早在 2021 年，OpenAI 的 CLIP 模型就把图片和文本映射到了同一个向量空间里，让模型能够算出“一张图”和“一句描述”的匹配程度。GPT-4 大概是把这个能力充分整合到了大模型里，实现了“看再说”。
多模态的意义超出“识别图片”本身。生活里的信息，从来不仅是文字，还有图表、照片、音频、视频。一旦模型能直接吃进这些异构信息，大模型的应用场景就从一个聊天机器人，扩展到了教育、医疗、设计、工业巡检等几乎一切领域。我自己在做项目的时候就发现，很多实际需求，光靠文字根本无法描述清楚，图片和语音输入能大幅降低用户的使用门槛。
5. 开源大模型与生态爆发：算力平权的时代
5.1 Llama 开源带来的“大模型平民化”浪潮
2023 年初，Meta 开源了 Llama 系列模型，虽然最早版本只提供给研究者，但效果非常好，参数量从 70 亿到 650 亿不等。紧接着斯坦福的研究者用少量数据和极低成本对 Llama 做了指令微调，做出了 Alpaca，效果让很多人吃惊：原来不必花几百万美元训练一个模型，直接在一个开源基座上微调就够了。
这一下子打开了大模型的潘多拉魔盒。国内外的开源模型如雨后春笋般冒出来：阿里的 Qwen 系列、智谱的 ChatGLM、零一万物的 Yi、DeepSeek……每家的路线略有不同，但共同点是“把大模型的训练和部署门槛大大拉低”。对企业而言，可以在本地私有化部署一个开源模型，训练数据和业务逻辑都不出公司内网，这就是我经常看到的“企业大模型私有化部署”需求背后的真正动力：安全合规加成本可控。
5.2 从只拼参数到拼推理效率：MoE 与长上下文
过去我们觉得大模型就是越大越强，但模型太大，推理成本太高，普通企业根本跑不动。于是 MoE（混合专家）架构开始成为主流。MoE 的思路是，不把几百亿参数全部激活，而是把模型拆成很多“专家”模块，每个输入只让其中一部分专家干活。我理解的类比：一家公司有几千名员工，但每个项目只需要让对应部门的几十个人参与，而不是所有人都扑上去。这种方式在训练和推理时大幅降低了算力开销，还能把参数量堆得更高。
另一个技术方向是长上下文。早期模型一次只能看几千字，现在很多模型已经支持几十万字甚至更多的上下文窗口。这解决的是“把一本书、一份大合同、一整份代码仓库交给模型一起读”的需求。但从实际操作看，上下文越长，模型对中间细节的关注力往往会被稀释，而且推理成本会急剧上升。所以不要盲目追求长上下文数字越高越好，还是要结合自己的实际场景选择。
5.3 部署与微调：真正动手时会遇到什么
很多场景下你不需要从头训练大模型，但你需要会部署和微调。部署一个开源模型，最常用的工具之一是 Ollama 和 vLLM。Ollama 适合个人电脑上快速跑起来试玩，vLLM 更适合服务器上高并发推理，因为它的显存管理做了大量优化，吞吐量可以比传统方式高很多。
微调则常用 LoRA 这类高效参数微调方案。LoRA 的思路特别聪明：冻结住大模型原参数，另外在旁边训练一小部分低秩矩阵，训练时只更新这部分矩阵。这样一来，训练显存占用大幅下降，效果却往往能满足特定任务的需求。我自己做文本分类、领域问答这类微调时，基本都是用 LoRA 起步，很少会做全量微调，因为全量微调对显卡和训练经验要求都太高了。这里给一句最实用的建议：先学会部署开源模型，再学会写 prompt，之后学会用 LoRA 微调，这条路径比从零训练一个模型划算得多，也更容易出实际成果。
6. 给零基础学习者的路线图与排坑建议
6.1 学习顺序：从用模型，到懂模型，再到改模型
如果让我重新学一遍大模型，我会按下面的顺序来，这条路线帮我少走了很多弯路。
第一阶段：先“用”。去注册一个大模型 API 或者本地部署一个开源模型，天天和它聊天、写 prompt。目标不是学会某些花哨的 prompt 技巧，而是切身感受它在什么问题上强、什么问题上弱、什么时候会胡说八道。没有这种手感，后面谈原理都是纸上谈兵。
第二阶段：再“懂”。重点补三块知识：机器学习基础（要懂损失函数、梯度下降这些概念）、Transformer 架构（重点看自注意力与残差连接）、语言模型训练流程（预训练、SFT、RLHF 各自解决什么问题）。读论文的时候，不要从头到尾逐字啃，我建议按下面顺序读：先读 2017 年 Transformer 原始论文，再读 GPT-1 和 GPT-2 的论文，再读 InstructGPT（就是 RLHF 那篇），最后读一篇 Llama 或者 Qwen 的技术报告。这一串读完，大模型发展的主线就很清楚了。
第三阶段：开始“改”。先尝试在开源模型上做推理部署，再试着用小数据集做 LoRA 微调。不用一上来追求多好的效果，先跑通一个完整流程：准备数据、微调、评估、部署。这个流程跑通一次，你对大模型的理解会上升一个台阶。
6.2 我踩过的几个坑，提前帮你排掉
第一个坑是过分迷信参数量。很多刚入门的朋友觉得参数越大的模型越厉害，但实际上针对你的具体任务，一个中等规模的经过微调的小模型，往往比一个强但没针对你场景优化的大模型更好用。成本还低得多。
第二个坑是忽略数据质量。微调的时候，数据集的“质量”远比“数量”重要。我见过有人准备了几十万条微调数据，但里面有大量噪声和错误标注，结果模型微调完比微调前还差。宁可准备几千条高质量数据，也不要硬凑几万条脏数据。标注一致性甚至比标注绝对准确更重要。
第三个坑是只用公共评测集来评判模型。评测分数高不等于实际好用。尤其在自己的垂直领域，一定要准备一套属于自己业务的“金标测试集”，里面放真实业务中最常遇到的提问，人工写好预期答案，每次换模型都要跑这一套测试，才能纵向对比出真实效果。
6.3 大模型未来还有哪些方向值得持续关注
发展史整理到最后，我自己会留下几个持续关注的方向：一是多模态进一步升级，视频、音频、三维信息的融合会让模型对世界的理解更完整；二是智能体与工具调用，让模型不只是“说话”，而是能调用搜索、数据库、代码执行器等工具，真正替用户把事情办完；三是端侧小型化，把大模型塞进手机和嵌入式设备，这背后是蒸馏、量化、剪枝等小型化技术的大量机会。这些方向的不确定性都还很大，但正因如此，现在进入这个领域的学习和积累，才特别有价值。
最后分享一点我个人的体会：学大模型发展史，最有价值的不是记住某年某个模型发了多少参数，而是看清“算力、数据、算法”这三个变量一直在互相牵制、互相成就。任何一次大版本跃迁，几乎都是三件事中至少两件同时突破了。带着这个框架去看新模型、新论文，你就不太容易被各种宣传话术牵着走。我自己每次读新的技术报告，都会先问一句：它到底是从规模、数据，还是结构上做了突破？这个问题问完，很多信息自然就清晰了。
