1. 为什么我会把“大模型发展史”做成一份学习笔记
先坦白一件事：我真正开始系统整理这份笔记，不是因为“大模型很火、我也要学”，而是因为一次被打脸的面试经历。当时对方问我“大模型和传统深度学习模型到底差在哪”，我嘴上说着“参数量大、数据多、算力强”，心里却很清楚，这只是把别人文章摘要背了一遍，离真正理解还差得远。那次之后我决定把大模型从头捋一遍，不是简单看新闻，而是像考古一样追溯它的思想源头。于是就有了这份“大模型的发展史 — 学习笔记”。
这份笔记严格来说不是论文综述，也不追求把所有模型都罗列一遍。我做笔记的核心思路只有一条：搞清楚每一个“里程碑”到底解决了什么问题，又引入了什么新问题。比如早期统计语言模型为什么效果差，Transformer为什么能取代RNN，预训练加微调这套范式到底牛在哪，后来为什么又要搞RLHF，再后来上下文长度为什么成了新的竞争焦点。这些问题串起来，就是一部非常清晰的发展史。
我建议所有正在学大模型的人都做一份类似的历史笔记，尤其是那些已经能跑通API调用、但总觉得知识体系很碎的人。历史不是用来背的，它最大的作用是建立“方向感”。当你知道了大模型怎么一步步走到今天，在看新论文、挑工具、调参数、排查报错的时候，你就不会像无头苍蝇一样乱撞。很多现在看起来理所当然的设计，比如输入限制、思维链、多模态对齐，其实都有着非常明确的历史脉络。
2. 大模型“前传”：没有Transformer之前，NLP是怎么过的
2.1 统计语言模型的朴素逻辑
大模型的基础理论，最早可以追溯到语言模型这个概念本身。所谓语言模型，说人话就是“判断一句话像不像人话”。2013年之前的NLP主流做法，是 n-gram 统计语言模型，它的核心假设非常朴素：一个词出现的概率，只跟它前面 n-1 个词有关系。比如3-gram模型，就只看前两个词来预测第三个词。
这套思路在当时确实有效，但问题也很致命。一方面数据稀疏，语料库再大也覆盖不了所有可能出现的n-gram组合，“李白喝酒”能查到，“李白写代码”多半就是零概率。另一方面它根本没有“泛化能力”，两个词在语义上高度相似也无法互相借鉴。更麻烦的是，如果想增加上下文长度，n-gram的n每加1，需要的训练数据量几乎是指数级增长，这也导致早期语言模型永远只能“近视眼”，根本看不到长距离依赖。
2.2 词向量和神经网络带来的转机
神经概率语言模型的突破，在于它把词变成了向量，而且是稠密向量。Bengio在2003年提出用神经网络同时学习“词的表示”和“语言模型”，每一个词都被映射到一个几十维甚至几百维的连续空间里。这一下就解决了数据稀疏的问题，因为语义相近的词在向量空间中距离很近，模型可以通过“类比”来泛化，而不是死记硬背。
距离产生美，但也很遗憾，RNN和LSTM这批模型虽然有“记忆”，却是顺序扫描的。处理长文本时，要么梯度爆炸，要么梯度消失，LSTM靠门控机制缓解了这一问题，可它依然是串行结构，一句长句子要挨个词读完才能编码完。很多研究者在实现时都能感觉到这件事有多别扭：文本明明可以并行计算“谁和谁有关联”，却被强制定义成了一条时间线。这种掉头去可以看到后面的词，这也是后来Transformer最核心的颠覆点。那篇论文的标题今天已经封神，但真正读进去后你会发现，它的核心其实并不复杂，就是让每一个词在计算表示的时候，去“看”序列里所有的词，然后按重要程度加权融合。我拿生活里的场景打个比方：开会时，我现在要发言，我需要快速扫一眼在场所有人，但不会平均分配注意力，跟谁有利益关系就多听谁的。这就是注意力机制。
3. 三个关键节点：从Attention到预训练到Scaling Law
3.1 模型架构的彻底重构
2017年Google提出Transformer之后，大模型基本理论的地基就算打完了。接下来的发展，我把它简化为三次“跃迁”。第一次跃迁是架构上的，Transformer通过自注意力机制将“上下文感知”做到了极致，它的多头注意力机制可以理解成一群人同时从多个角度观察同一句话，有人关注语法角色，有人关注指代关系，有人关注情感倾向，最后把视角叠在一起。有了这个结构，训练速度大幅提升，因为注意力计算是矩阵运算，天然适合GPU并行。
但这里有一个非常实际的认知误区：Transformer最开始并不是为了做生成式对话而设计的，它最初服务于机器翻译。当时没有谁真的预料到，把它的encoder部分练得足够大以后，居然能够产生那么强的“理解”能力；把decoder部分做大以后，又居然能产生那么强的“续写”能力。后来Google的BERT和OpenAI的GPT几乎同步走向了“预训练大一统”路线，这也成为第二次跃迁的起点。
3.2 预训练加微调，让一套模型通吃所有任务
第二次跃迁的核心是“预训练加微调”范式。以前的NLP是每个任务一个模型，情感分析一个、问答一个、翻译一个，每个模型都要单独标注大量数据。预训练的思路则变成了：先用海量无标注文本把语言能力学出来，之后你要做具体任务，只要在底层模型上挂一个小小的任务头，用少量数据微调一下就行。就像是先送一个人去大学接受通识教育，毕业后你只需要给他做一个岗前培训，他就能胜任不同岗位，而不是每个岗位从头招一个文盲来教。
这个范式的意义，不仅在于效果提升，更在于它把所有NLP任务统一成了一个框架。BERT通过Masked Language Model让模型“完形填空”，GPT则通过自回归让模型“无脑续写”。你会发现这两种做法恰好殊途同归，都在逼模型去理解语言的统计规律。到2020年，业界基本形成了一个共识：模型越大，预训练越充分，下游任务效果越好。这就是第三次跃迁——Scaling Laws，也就是OpenAI总结的“参数量、数据量、计算量按比例增长，损失函数会稳定下降”。通俗地讲，大力出奇迹不再是玄学，而是有标度可循的。
3.3 从“大力出奇迹”到“能力涌现”
Scaling Laws带来的经验之谈很多，但最容易误导人的一句话就是“模型越大越好”。实际操作中，你很快会撞见两个非常现实的问题。第一是算力账单，训练一个大模型不只是买一堆GPU那么简单，还有机架、散热、存储、分布式通信和人工调参，烧钱速度快到超乎想象。第二是收益递减，从7B到70B，效果提升肉眼可见；从70B到700B，提升还有，但成本翻了十倍以上，不划算了。
所以从2023年开始，整个行业慢慢从“无脑堆参数量”转向了“如何在有限算力下激发能力”。很多企业开始做MoE结构，把一个大模型拆成若干“专家”，每处理一个token只激活少数专家，既保持了超大参数量，又控制了推理的成本。我笔记里专门记录了一个关键词叫“稀疏激活”，这个设计思路其实和人脑很像，大脑不会在每一秒都用全部神经元，按需调用能效最高。
另一个重要转折是“涌现能力”。当模型规模越过某个阈值后，它突然会做一些小模型完全不会做的事，比如思维链推理、指令跟随、少量样本学习。这种能力在论文里反复出现，但没人能精确算出阈值在哪。我个人的理解是，这就像水位涨到一定高度，岸边的石头才露出来，并不是石头突然长出来了，而是水位到了。大模型的“涌现”，本质上还是统计学习积累到质变后的外显。这个阶段的大模型，开始从“一个会续写的机器”进化成“一个可以被指挥的智能体”，也为后面智能体的爆发埋下伏笔。
4. 技术路线分化与生态爆发
4.1 两条路线：闭源商用与开源共建
我做大模型发展史笔记时，并没有只按时间顺序推演。到了2020年之后，单靠一条时间线已经讲不清楚了，因为出现了明显的路线分化。闭源阵营的代表是ChatGPT和Claude这类产品，它们的优势是体验稳定、多模态能力一体化，但劣势是接口可控性差、数据隐私需要信任对方、成本不好预测。开源阵营则走的是另一种风格：模型权重公开，任何人都能下载、微调、部署。
开源路线里，Meta的Llama系列是绕不开的。Llama 1最初只给学术机构开放，到了Llama 2和Llama 3直接向公众开放商业使用。这一下引爆了整个生态，几乎每一篇新论文、每一个新工具，都会默认跑在Llama类模型上。国产开源模型也不少，Qwen系列、DeepSeek在数学推理与数据标注方面的思路都非常有参考价值。我自己的学习路线基本是从开源模型入手的，原因很简单：研究底层原理时，闭源模型的论文再多，也不可能完全复现它的训练配方；开源模型虽然不完美，但你至少能打开它的tokenizer、模型结构和代码，真实感完全不同。
4.2 上下文长度：从2K到200K，不只是“能记住多长”
我整理笔记时，单独给“上下文长度”留了一节，因为这个参数在热搜词里反复出现，但很多人理解得太浅。上下文长度指的是模型一次性能“看到”多少token。GPT-3早期只有2048，稍微长一点的文档都得切片拼接，切完还可能语义断裂。后来各家开始卷这个数字：4K、8K、32K、128K，甚至到200K。
你以为上下文长就是“能读长文本”？其实没那么简单。更关键的是“长文本里的信息利用率”和“计算开销的平方增长”。注意力机制在计算每个词时都要跟所有词做点积，上下文长度翻一倍，计算量可能要翻四倍。厂商宣传200K，实际用起来你会发现中间部分“被遗忘”了，业内管这个叫“lost in the middle”。所以做笔记时我提醒自己：不要只看宣传数字，要实测模型对长文本不同位置信息的召回率。这是我踩坑之后总结出的一个重要经验，后面会专门写一节。
4.3 多模态大模型：从纯文本到通感
多模态大模型是2025年之后最热闹的方向之一。我一开始也以为多模态就是把图片、音频、视频一股脑塞给模型，后来研究论文才明白，关键在于“对齐”。图像和文本是两种完全不同的数据形态，模型要做的是在某种公共语义空间里，让它们能互相映射。简单说，如果你给模型看一张狗的照片，又给它看“狗”这个词，它需要学会这两者在内部表示上是相近的。
CLIP就是这种对齐思路的开创者，用图片和描述文本的对比学习把两个模态拉到同一个空间。后来GPT-4V、Gemini、各类开源VLM，都是在LLM基础上增加了视觉编码器和对齐层。我实际操作多模态模型时发现，它并不像很多人想象的那样“真的看见图”，它只是拿到了图像的token化表示，本质还是文本生成。这个认知非常重要，因为它决定了你的Prompt怎么写。我试过很多次，同样是图问答，描述性的问题（“这张图里有什么颜色”）效果就差，推理性的问题（“这张图表达什么样的情绪”）效果反而好，背后的原因就是视觉token的表达粒度。
4.4 智能体：大模型从大脑到“能动手”
聊到生态爆发，不能不提AI智能体。大模型本身只能生成文本，像一个只会出主意的军师；智能体则给它接上工具，让它能查网页、调接口、执行代码、操作软件。2023年几个智能体框架火起来的时候，很多人觉得套一个循环调用就算智能体了，实际做下来你会发现，真正难的是“任务拆解”和“错误恢复”。
我的笔记里记了三个层级的演化：第一个层级，模型根据用户指令直接调用工具并返回结果；第二个层级，模型能自己规划子任务，依次调用多个工具；第三个层级，模型能反思自己执行的结果，发现错了就调整方案重试。现在很多应用其实停留在第一二层，但趋势已经很明确。我在做学习笔记时，尽量把智能体相关的案例也收进来，比如用大模型做简历筛选、做报表分析、做代码Review，因为只有看到真实场景，理论才会落地。
5. 从笔记到实践：免费API、本地部署与微调
5.1 怎么选：免费API还是本地部署
很多刚入门的朋友上来就问：怎样才能免费用到靠谱的大模型API？我的答案是：先明确你的用途。如果你是做原型验证、学习Prompt工程，那确实有很多免费额度渠道，国内外的开放平台都有试用额度。这个阶段你不需要关心部署，把精力放在理解对话流程、工具链调用和效果评测上就行。
但如果你想做的应用涉及敏感数据，比如企业内部的合同审查、客服聊天记录分析、研发代码扫描，那免费API的隐患就很大。你的数据会经过第三方服务器，哪怕平台承诺不存储，心里也始终不踏实。这种场景更适合本地部署。我自己的经验，个人电脑部署7B到14B规模的开源模型完全可行，需要一张显存16G以上的显卡，或者用CPU加量化版模型硬扛。如果你想跑70B以上，基本得上多卡服务器了，这时候就该考虑是不是没必要，先拿小模型验证方案，再决定要不要上规模。
5.2 本地部署实战：以Ollama和FastGPT为例
本地部署这件事，我走了不少弯路，所以笔记里专门有详细的步骤记录。最省心的方案是用Ollama，它把模型的下载、加载、推理全部封装好，命令行三行以内就能把模型跑起来。比如ollama pull qwen2.5:7b，然后ollama run qwen2.5:7b，就进入对话了。Ollama还自带一个兼容OpenAI格式的本地HTTP接口，默认跑在11434端口，很多应用可以直接对接。
如果要做更完整的知识库问答，自然就绕不开FastGPT这类应用框架。我把Ollama的本地模型接到FastGPT里，最后实现的效果是：上传一批PDF文档，FastGPT自动做切分和向量化，用户在对话界面提问时，系统先从向量库检索相关片段，拼接到Prompt中，再发给本地大模型生成答案。这个流程本质上就是RAG。为什么要这么麻烦？因为大模型本身并不知道你私有的文档内容，你又不可能为每次新文档都重新训练模型，RAG相当于给模型开卷考试，让它带着资料回答问题。实测下来，RAG对“事实核对类”任务很稳，但对“逻辑综合类”任务就比较弱，模型常常会把检索来的片段直接抄进答案。
5.3 微调实战：不是什么时候都需要微调
大模型微调是热搜词里出现频率极高的一个词，但我必须诚实说一句：微调被严重过度神化了。很多人以为模型效果不好，微调就能解决全部问题，其实微调的真正目标不是“注入知识”，而是“改变行为和风格”。比如你要让模型从通用助手变成电商客服，语气更简短、更主动推荐商品，这种情况微调很合适；但如果你只是想让它知道你们公司的产品手册，那应该走RAG，而不是微调。
我自己最常做的是LoRA微调。它的原理很聪明：不修改原始模型的全部参数，只训练一小部分低秩矩阵作为“补丁”，挂在原始权重旁边。推理时哪个补丁要用就加载哪个，多个任务可以切换不同补丁，省显存也省钱。我在8张A100的服务器上微调过一个14B模型，数据大概两万条对话，用LoRA跑了几百个step就收敛了，整个训练过程两小时多。最关键的不仅是训练，而是数据构造。我踩过最大的坑就是没有清洗数据，导致模型学到了“问答模板里的废话”，比如每条回复都以固定开场白起头。
5.4 企业私有化部署的现实门槛
如果你在企业里做大模型私有化部署，要面对的就不仅是技术问题。首先是硬件预算的测算，别只看卡的价格，还要算机柜空间、散热、电力增容，以及运维人员成本。其次是模型选型，100亿参数以下模型在特定领域可能效果不尽如人意，硬上的话又面临推理速度问题，需要做量化、蒸馏、剪枝。第三是安全合规，模型训练数据里可能包含有问题的内容，你要提前做投毒测试，也就是用各种对抗样本去检测模型是否会输出有害信息，同时还要建立内容过滤机制。
另外，很多企业的系统都是Java写的，这时候就牵涉到Java应用如何跟大模型交互。理论上大模型API就是个HTTP服务，Java用HTTP客户端就能调，但生产级应用要考虑连接池、异步处理、流式返回解析、超时重试等细节。我见过不少团队卡在“流式输出”这步，客户端明明已经收到内容，界面却迟迟不刷新，排查半天发现是WebSocket与SSE的选择问题。这些经验，我都会在笔记里用小标签挂出来提醒自己。
6. 我替你踩过的坑：大模型学习与实战避坑指南
6.1 别被测评跑分带偏了节奏
“大模型跑分网站”这个热词让我挺有感触。很多人选模型时只看榜单，哪个分高用哪个。但榜单分数和你的真实业务场景之间，隔着一整个“数据分布差异”。比如某个模型在通用百科问答上得分很高，到你的一堆含行业黑话的客服语料上，可能表现和一个小模型差不多。这是我在做笔记时反复强调的一点：评测是“相对参考”，不是“绝对答案”。建议你自己搭一个只有十来个问题的测试集，覆盖你业务里最关键的任务类型，每次换模型都跑一遍。这个测试集比任何榜单对你都有用。
6.2 微调不是万能药，RAG也不是
我在前文提到过，微调和RAG都有自己适合的场景。实际操作中很多人把二者搞反了。想给模型补充私有知识，先做RAG；想改变模型说话风格、输出格式、工具调用习惯，才考虑微调。如果你两样都不了解就一头扎进训练脚本，大概率会收获一堆“看起来训练了但毫无变化”的模型。我自己有个判断口径：先写一版提示词工程方案，如果效果能达到80分，就不要立刻上微调；微调是投入产出比偏中后段的优化手段，应该等基线方案稳定后再做。
6.3 上下文长度越长，并不代表越省钱
这个坑特别隐蔽。长上下文模型推理时，系统为了节约计算，往往会利用KV Cache缓存历史token的中间状态。上下文越长，Cache占用显存就越大，同时首token延迟也会上升。我做过一次实测，在同一个模型上把上下文从4K提升到32K，单次推理的显存占用整整翻了一倍多。所以如果你的业务根本不需要阅读长文档，硬选长上下文模型就是白白增加成本。反过来，如果确实做长文档分析，也要考虑分段策略，别一股脑把全文都塞进Prompt。
6.4 学会筛信息，别被“最新进展”带晕
网上的技术文章鱼龙混杂，很多所谓“最新进展”只是把GitHub Readme翻译了一遍。我的笔记法比较“笨”：任何一个重要概念，至少要找到三份不同来源的说明交叉验证，最好包含原始论文、代码仓库和实践者的踩坑帖。有些概念在论文里是一个意思，在框架代码里是另一种实现，在业务应用里又是不一样的东西。比如“多模态对齐”，在ClIP论文里指的是特征空间对齐，在很多教程里却简化成了“把图像输入转成文本描述”。如果不仔细分辨，你对系统的理解就是错的。
6.5 安全性测试不能只看表面
热搜词里有一个“大模型投毒测试”，我第一次看到时还愣了一下。实际上在模型训练数据清洗、模型上线发布、第三方模型引入三个环节，都可能有投毒或数据污染风险。你用了某个公开训练集，里面可能混入了误导性样本，导致模型对某个触发器敏感；企业私有化时如果用了来路不明的模型权重，也可能存在后门。因此，我在笔记里专门列了一个安全检查清单：输入输出过滤、对抗样本测试、特定场景断言语义检测、模型接口限流。虽然不能做到100%安全，但至少能大幅降低风险。
7. 我的学习路线与笔记方法
7.1 三遍学习法：快速入门、深度拆解、融会贯通
每次接触一个新的大模型技术点，我都会用三遍学习法。第一遍是“快速全景”，看一篇足够长的综述或者系统教程，把概念、流程、上下游工具链过一遍，目标只是知道“有哪些东西、大概关系是什么”。第二遍是“动手拆解”，打开一个开源项目，实际跑通一个最小案例，读关键配置文件，再加一些日志输出，亲眼验证概念是否成立。第三遍是“对照扩展”，把不同模型、框架、方案放在一起比较，总结各自的适用条件和取舍逻辑。
学大模型发展史尤其适合这种三遍法。第一遍按时间线把所有模型过一遍；第二遍选两三个典型架构亲手训练或微调；第三遍回到历史线，你就能理解为什么某些模型会被淘汰，某些思路会复活，比如卷积和注意力这些年一直在融合，出现了混合架构。这种认知不是单纯看论文能获得的，必须搭配实践。
7.2 我的笔记结构模板
为了保护你这篇博文的实用性，我把自己的笔记模板直接分享出来。每一章笔记都包含五个部分：第一，“要解决的问题”，用一两句话说清楚这个技术点存在的理由；第二，“核心机制拆解”，用自己能复述的语言解释原理，配合一张手绘结构图；第三，“关键参数与实现细节”，比如学习率、序列长度、显存占用、推理时延；第四，“实际应用场景”，标注出它最适合的业务问题；第五，“踩坑记录”，记录自己或社区里遇到的典型错误。
这个模板最大的作用，是逼着我不要“复制粘贴知识”，而是完成一次“消化再输出”。如果你看到一段笔记写得非常流畅，但自己的脑子完全没转，那大概率只是摘抄，学不到东西。我还习惯在每个概念后面写一句“人话解释”，用生活类比把抽象概念讲清楚，下次复习时效率极高。
7.3 资料推荐与工具清单
资料方面，我强烈建议把Transformer原始论文、BERT论文、GPT系列技术报告、以及Scaling Laws论文作为必读清单。除此以外，可以找一本系统讲大模型的书，或者一份涵盖预训练、微调、强化学习、模型压缩的教程PDF，把框架搭好后再抓细节。工具方面，我会用飞书文档或Notion管理笔记，模型运行用Ollama、vLLM、FastGPT，数据处理用Python的Pandas和LangChain，监控用Prometheus加Grafana。这些工具都不需要一步到位，用到哪补到哪。
8. 一点个人的学习体会
做这份“大模型的发展史”学习笔记，前前后后大概花了两个月。说实话，刚起步时我也着急，总想着快点看到成果，但越往后越发现，真正让我成长的不是“记住了多少论文结论”，而是“建立了技术演进的坐标系”。现在再看到一个新模型发布，我不会急着吹它多牛，而是会下意识问一句：它改进了哪个环节，是基于什么旧问题提出来的，有没有代价。这个问题一问，很多信息噪音就被过滤掉了。
如果你也想做一份类似的笔记，我给的建议很简单：不要贪多，从一条主线开始，比如先梳理“语言模型怎么一步步变成大模型”，再横向扩展“平行技术路线”，最后加上“实践环节”。哪怕每周只花三小时，坚持一个月，你会发现自己的思路清晰很多。最后再分享一个小技巧：每篇笔记写完后，隔一周再回去重读一遍，把当时看不懂或写错的地方用红色标注，这个过程会逼着你持续修正认知，比重复阅读有效得多。我的笔记到现在还在改，这大概就是学习的常态吧。
