1. 先从一段“旧时光”说起：语言模型到底在解决什么问题
如果你现在打开任何一篇讲大模型的文章，几乎都会从“语言模型”这个词开始。但这个词被用得太宽泛了，以至于很多人其实分不清——我们常说的语言模型，和这两年火遍全网的LLM（Large Language Model，大语言模型），到底是不是一回事？
先给个结论：语言模型是一个概念，LLM是这个概念在工程和数据规模上被推到极致之后的具体产物。两者的血缘关系很近，但能力维度完全不同。就好比“发动机”和“航空发动机”的关系——都是把燃料转化为动力，但后者对材料、设计、温度控制的要求，已经不在一个量级了。
语言模型最原始的学术定义，其实非常朴素：给定一段文本的前几个词，预测下一个词是什么。这个任务看起来人畜无害，甚至有点幼稚。但它之所以成为整个自然语言处理（NLP）领域的基石，是因为几乎所有高层任务——机器翻译、文本摘要、问答系统、情感分析——都可以被拆解成“根据上文预测下文”这个基本动作。
举个具体的例子。早期的机器翻译系统，无论是基于规则的还是基于统计的，核心都在做同一件事：给定一个源语言的句子，找出目标语言中最可能对应的句子。而这个“最可能”，本质上就是一个条件概率问题。语言模型就是用来计算这个条件概率的。也就是说，翻译、生成、理解，这些听起来高大上的能力，归根结底都建立在“预测下一个词”这件小事上。
这个视角一旦打通，再看后来的所有大模型发展，你就会发现一条清晰的逻辑线：所有模型的迭代，本质上都在做同一件事——把“预测下一个词”这件事做得更好、更稳、更聪明。区别只在于，为了做好这件事，不同时期的人们用了完全不同的方法，而这些方法背后，是数据、算力、算法三股力量的交替崛起。
2. 从n-gram到神经网络：语言模型的第一波范式转移
2.1 统计语言模型的黄金时代
如果要给语言模型写一部编年史，第一个重要的里程碑应该是n-gram模型。
n-gram的思路非常直观：假设一个词出现的概率，只取决于它前面的n-1个词。比如bigram（2-gram）模型，就是假设“苹果”这个词出现的概率只取决于前面一个词，比如“吃”。trigram（3-gram）就是看前面两个词。这个假设叫马尔可夫假设，它把计算整个句子的概率问题，转化成了计算一串局部条件概率的乘积问题。
听起来很合理，但这个模型有一个致命伤，叫做数据稀疏。假设你的词表里有10万个词，bigram的组合数就是10万乘以10万，等于100亿种组合。哪怕你拥有一条规模很大的语料，也不可能把所有组合都覆盖到。总会有很多合理的搭配从未出现过，那概率就是0。但概率为0并不代表这回事不可能发生，只能说明语料里没有。
为了解决数据稀疏，统计语言模型时代有一整套花式平滑技术，从最简单的加1平滑（Laplace Smoothing），到回退模型（backoff），再到Kneser-Ney平滑，本质上都是在做同一件事：把一部分概率质量从高频事件中“匀”出来，分给那些没出现过的组合。这个思路一直到今天都不过时——后来深度学习模型里的各种正则化手段、标签平滑，精神祖先就是这里的Kneser-Ney。
这一阶段的核心矛盾非常清晰：模型能力受限于人工设计的平滑技巧，而真正的语义理解几乎没有。n-gram模型看到的只是词的表面共现关系，它对“苹果”和“水果”之间有什么内在关联一无所知。它只是一个非常庞大的查表工具，只是这个表被概率填满了而已。
2.2 神经网络的入场：分布式表示的魔法
2003年，一篇论文打破了统计语言模型的瓶颈，就是神经网络语言模型（NNLM）。它的核心贡献不是把模型做深了，而是引入了分布式表示（Distributed Representation）这个概念。
传统的one-hot编码下，每个词是一个无比稀疏的高维向量，“苹果”和“香蕉”这两个词在向量空间里没有任何关系。神经网络语言模型把每个词映射到一个低维稠密的向量空间里——也就是后来被广泛称为词向量的东西。在这个空间里，语义相近的词距离更近，“苹果”和“香蕉”可能就会被聚到同一个区域。
这个词向量的威力有多大呢？后来的经典例子是经典的语义运算关系： 某一极其著名的词向量运算样例 能够接近某一极其著名的关联关系结果。虽然这个结果有夸大成分，但它的确揭示了一个关键事实：神经网络不只是记住了统计规律，它学到了词语之间某种结构化的关系。这种关系不是被人工设计出来的，而是从数据里自动涌现出来的。
在这个阶段，模型结构其实还很简单，一个Embedding层，加一个全连接层，加一个Softmax输出层。训练用的语料量级大概也就是几千万到几亿词。但就是这套被现在的大模型衡量堪称简陋的结构，奠定了后来一切的基础。可以说，没有分布式表示这一步，就没有后来的Transformer，更不会有现在的LLM。
2.3 为什么说RNN是“顺序思维”的代表
词向量解决了表示的语义化问题，但没有解决时序问题。语言是一个序列，顺序很重要。“我打你”和“你打我”用的是同样的词，意思却截然相反。n-gram模型通过固定窗口来捕捉局部顺序，但窗口太短记不住远距离依赖，窗口太长又遭遇数据稀疏。任何这么看，都是死路。
所以就迎来了循环神经网络（RNN）的时代。RNN的思路很有意思：它把语言处理看作一个逐步累积状态的过程。每读入一个词，模型更新一次“记忆”——这个记忆是一个隐藏状态向量，相当于把之前看到的所有内容压缩成了一个固定长度的摘要，然后基于这个摘要预测下一个词。
理论上，RNN可以捕捉无限长的依赖关系。但在实际训练中，它遇到了梯度消失和梯度爆炸两个棘手问题。简单说就是，当序列太长时，距离较远的信息在反向传播过程中要么衰减到可以忽略，要么膨胀到导致模型不收敛。虽然LSTM和GRU通过精巧的门控机制极大地缓解了这个问题，但RNN的串行计算特性仍然让它在大规模训练面前力不从心——每一步的运算都依赖于前一步的结果，没有办法并行化。
这一点在当时还不是致命伤，因为那会儿的语料规模、算力水平也没给并行化提出那么高的需求。但后来当数据量爆炸式增长时，RNN的串行瓶颈就成了不可逾越的障碍。换句话说，不是RNN不够好，而是当整个行业的数据和算力飙涨时，一个不能充分并行的大规模训练方案，注定要被淘汰。
3. 从“预测下一个词”到“无所不能”：Transformer带来了什么
3.1 注意力机制：让模型学会“选择性关注”
Transformer之前，还有一个关键的过渡环节，就是注意力机制（Attention）。注意力机制最早被用于机器翻译任务中，解决的是RNN的“信息瓶颈”问题——因为RNN把所有历史信息都压缩在一个固定长度的向量里，信息必然有损。注意力机制的想法很直接：与其把所有信息都压进一个向量，不如在每一步预测时，直接去源语言的所有位置上“挑重点”。重点关注哪些位置的信息，就加权更多地读取哪些位置的信息。
这个机制带来了质的飞跃。它让模型不再受限于固定长度的语义摘要，而是可以灵活地从整个输入序列中提取信息。更重要的是，注意力计算在数学形式上非常利于并行化——它本质上是一组矩阵乘法，不像RNN那样有严格的时序依赖。
Google在2017年发表的论文《Attention Is All You Need》，算是在这个思路上做了个极致的贯彻：既然注意力机制这么好用，那就干脆不要RNN了，整个模型完全用注意力机制搭建。这就是Transformer。
3.2 自注意力的三个关键操作：Q、K、V
Transformer里最核心的组件是自注意力（Self-Attention）。它理解起来其实不难，可以类比成一场会议讨论。
每个词（更准确地说，每个token）在模型中都有三个不同角色的向量：Query（查询）、Key（键）、Value（值）。这个过程可以这样理解：当你需要考虑上下文中的其他词时，你会用你的Query去和所有其他词的Key做匹配，算出相关性得分。然后根据相关性得分，对所有词的Value做加权求和，得到一个新的表示。相关性越高，你对那个词的内容吸收得越多。
用大白话说：Query是“我在找什么”，Key是“我能提供什么标签”，Value是“我真正的内容”。每个词同时扮演三个角色，模型通过学习调整这三个向量的映射权重，来灵活决定每个词应该关注上下文中的哪些词，以及从它们那里吸收多少信息。
这个机制的精妙之处在于，它不预设任何固定的注意力范围。不像n-gram那样只看局部窗口，也不像RNN那样只能按顺序阅读，自注意力机制让任意两个位置的token可以直接交互，不管它们在句子里隔得多远。这就从根本上解决了长距离依赖问题，同时又天然支持并行计算。
再加上Transformer论文里引入的多头注意力（Multi-Head Attention）——相当于让模型同时从多组不同的角度去看序列中的关系——以及位置编码（Positional Encoding）来补充顺序信息，Transformer迅速成为NLP领域的新主力架构。
3.3 从Encoder-Decoder到Decoder-Only：架构选择的岔路口
Transformer原论文提出的是一个Encoder-Decoder结构。Encoder部分负责把输入序列编码成一组表示，Decoder部分负责根据这些表示逐词生成输出。这种结构非常适配机器翻译这类序列到序列的任务。
但在后来的演进中，大模型领域逐渐形成了一种看似令人意外的收敛——几乎所有成功的LLM都是Decoder-Only架构。这与我们常识中“能编码又能解码更加全能”的印象有些相反，但实际发展路径就是这样选择的。为什么？
原因可以拆成几层。第一，Decoder-Only架构天然匹配语言模型的自回归训练方式——给定上文预测下一个词，不需要看双向上下文。这使得它和大规模无监督语料完美契合。第二，在生成任务中，Decoder本身就承担了“逐个生成”的职责，不需要额外的推理模块。第三，当模型规模足够大时，Decoder-Only架构在训练效率和工程实现上更简单，尤其是配合自回归生成的目标函数，上下游设计都相对直接。
这个架构选择其实还和下游任务形态有关。LLM的核心使用方式已经不再是“从一段输入翻译成一段输出”，而是“给一段提示词（Prompt），让模型继续往下写”。这种自由形式的文本续写，天然就是Decoder-Only的主场。后续业界把这种方式称为“生成式预训练”，也就是GPT这个名称中G（Generative）的来源。
4. 规模化的威力：从BERT到GPT的“岔路”与“合流”
4.1 两条路线之争：双向理解还是单向生成
Transformer出现之后，往后的两年里，整个领域其实分成了两条技术路线。一条以BERT为代表，一条以GPT为代表。
BERT走的是“双向编码 + 预训练后微调”的路子。它用的是Transformer的Encoder部分，通过Masked Language Model（遮盖掉句子中部分词，让模型去预测被遮住的词）的方式进行预训练。这种方式让模型在训练时能同时看到一个词左右两侧的上下文，因此在理解类任务上表现格外突出。那个时代的GLUE榜单，基本就是BERT系列模型的天下。
GPT走的是“单向解码 + 生成式预训练”的路子。它用Transformer的Decoder部分，仍然采用“预测下一个词”的自回归目标。它不做双向编码，但仍然保留了上下文窗口内的历史信息。GPT系列的早期版本，在理解类任务上其实打不过BERT，但它在生成任务上的流畅度，是BERT很难企及的。
这两条路线在2020年前后形成了一组很有意思的对照：BERT是精读型选手，适合做填空、判断、分类；GPT是续写型选手，天然适合做对话、创作、生成。当时很多人觉得这是两种互补的技术路线，未来可能长期共存。但后来的发展证明，生成式路线走出了自己的第二曲线，而BERT路线的天花板反而被快速触及。
4.2 涌现现象：为什么模型变大之后“突然”变聪明了
GPT系列从GPT-1到GPT-3，最大的变化就是规模。GPT-1的参数是1.17亿，GPT-2涨到15亿，GPT-3直接跳到1750亿。这个参数的膨胀幅度，远超大部分人的预期。
真正让人开始意识到“规模”本身有魔力的，是涌现能力（Emergent Ability）这个概念的出现。所谓涌现，是指当模型规模跨越某个阈值之后，一些原本小模型不具备的能力突然出现了。比如少数样本学习（Few-shot Learning）、代码生成、多步推理、甚至一些简单的逻辑思考能力，在小规模模型上几乎不出现，但一旦参数规模达到某个级别，这些能力就“凭空”长了出来。
从技术视角来看，这些能力其实有一个通俗的理解方式：模型内部存储的知识分布足够稠密时，它可以在推理时组合出原本没有显式训练过的答案路径。这就像拼图，小模型手里只有几十块拼图，怎么拼都拼不出全貌；但大模型手里的拼图足够多，哪怕随机组合，也能拼出很多合理的图案。
不过需要说明的是，涌现能力不是一条平滑的曲线，而是一个类似“相变”的过程。有些能力在某个规模以下是0分，跨过临界点突然变成60分，再变大变成80分。这也是为什么业内反复争论“模型缩放到底有没有上限”——目前没人能给出准确答案，但至少从目前的观察来看，规模带来的红利还远没有完全释放。
4.3 数据、算力、算法的三角赛跑
如果说大模型是火箭，那么数据、算力、算法就是它的三台发动机。这三者的演进速度其实是非常不均衡的。
数据的爆发来得最早也最自然。互联网积累了海量的公开文本数据，早期GPT-2的训练集已经是WebText这种规模的语料，到了GPT-3，训练数据直接达到了几千亿个token。但这里面有一个隐患——高质量的数据是有限的。到了后来，业界开始讨论一个有些焦虑的话题：高质量文本语料大概在某个总量水平附近，如果模型继续变大，训练数据很快就可能不够用了。
算力的增长也极其惊人。早期训练GPT-1，用几块GPU就够了。训练GPT-3，直接动用了数千块高性能GPU，训练成本以百万美元计。这里出现了明显的“算力壁垒”——不是每个人都有条件续写大模型的军备竞赛。
算法层面的演进则相对平缓。Transformer的基本架构从2017年之后没有发生颠覆性的改变，后续的改进大多集中在训练技巧、损失函数、结构微调（比如RoPE位置编码、SwiGLU激活函数、RMSNorm归一化）这些层面。但算法的“微调”却能在同等规模下带来非常大的性能提升，这也是为什么后来开源社区能不断缩小与闭源模型的差距——不完全靠堆规模，而是靠更精细的算法设计来“省着用算力”。
5. 从“预训练+微调”到“预训练+提示”：LLM用法的范式革命
5.1 为什么微调越来越不经济
在BERT时代，把预训练模型用到下游任务的标准流程是“预训练 + 微调”。你需要为每个具体任务准备标注数据，然后在预训练模型的基础上做有监督训练。这在当时看起来没什么大问题。
但到了GPT-3这种规模的模型，微调变得非常不现实。第一是GPU成本，1750亿参数的模型，哪怕做几个epoch的微调，需要的算力也不是一般团队能承受的。第二是数据成本，很多专业领域的标注数据本身就很稀缺，比如医疗、法律，获取高质量标注数据的成本非常高。第三是部署成本更难接受——微调之后，你每次更新模型都要维护一份新的完整参数副本，存储和serving的压力都很大。
于是，业界逐渐转向了另一条路：不更新模型参数，而是通过设计提示词（Prompt）来引导模型输出。这就是后来大家熟知的“预训练 + 提示”范式。GPT-3论文本身也明确使用了In-Context Learning这种形式，即你想让模型做什么，就把任务描述和示例直接写在提示词里，模型根据这些上下文“即兴发挥”。
这个转变的意义极其深远。它把使用大模型的成本，从“训练一个大模型”降到了“写清一个指令”。从此，大模型从一个需要专门训练才能使用的“工业设备”，变成了一个开箱即用的“通用工具”。
5.2 提示工程：另一种意义上的“编程”
提示词这个设计约束，催生出了一个非常有意思的新职业方向——提示工程（Prompt Engineering）。虽然这个名字听起来像是玩文字游戏，但实际操作中，提示词的设计确实需要非常严谨的工程化思维。
好的提示词通常包含几个要素：明确的任务描述、清晰的角色设定、必要的输入格式说明、以及可选的示例（Few-shot Examples）。比如你希望模型做文本分类，与其直接丢给它一句话“帮我判断这句话的情感”，不如给它一个结构化指令：“你是一个情感分析助手，请判断以下文本的情感极性，输出仅限正面或负面，并给出简短原因。”然后附上两三个示例，最后再给待分析文本。
这背后的逻辑是，大模型对指令的理解高度依赖上下文。同样的任务，措辞稍微含糊一点，模型输出的质量可能就天差地别。我在实际使用中见过一个很典型的场景：同样是让模型提取会议纪要中的待办事项，直接说“提取待办事项”，模型输出乱糟糟；但把角色设定成“你是一个项目助理，请从会议纪要中找出所有的行动项，按负责人和截止日期分列”，输出立刻规范了很多。
提示工程本身还在不断发展，后来又延伸出了CoT（思维链）、Self-Consistency（自洽性采样）等一系列高级技巧。这些技巧本质上都是在引导模型“多想几步”，而不是直接输出直觉答案。我个人认为，提示工程将会长期存在，因为模型的底层逻辑始终是“根据上下文补全”，而提示词就是用户对上下文最直接的控制手段。
5.3 RLHF：让模型学会“说人话”
单靠预训练和提示工程还不够。GPT-3虽然能生成非常流畅的文本，但它经常产生一些“不对劲”的输出——编造事实、逻辑混乱、语气生硬。2020年之后，业界开始引入强化学习人类反馈（Reinforcement Learning from Human Feedback，RLHF）技术来“调教”模型。
RLHF的核心思路并不复杂，分三步走。第一步，训练一个奖励模型：让人工标注员对同一问题的多个候选回答进行排序，然后用这个排序数据训练一个奖励模型，用来预测“人类更喜欢哪个回答”。第二步，用这个奖励模型作为信号，对预训练好的语言模型进行强化学习优化，让模型学会生成更符合人类偏好的内容。第三步，往复迭代。
这里有一个非常关键的技术细节：强化学习过程中，模型非常容易“作弊”。它可能会找到一些让奖励模型打高分的套路，比如疯狂使用高密度词藻、说一堆正确的废话，但实际上并没有真正理解用户的意图。为了防止这种偏移，还需要在奖励函数中加一个KL散度惩罚项，约束优化后的模型不能和原始预训练模型偏离太远。
RLHF带来的变化是肉眼可见的。经过RLHF的模型，在对话中会更自然、更礼貌、更懂得拒绝不合理请求。这就是后来ChatGPT能够“破圈”的关键一步——不只是在学术评测上取得好成绩，而是让普通用户和模型对话时，感觉自己在和一个聪明且有礼貌的人聊天。
6. 开源社区的平行宇宙：从GPT系列到Llama、ChatGLM的百花齐放
6.1 为什么要关注开源大模型
GPT系列是闭源的，外界只知道它的能力很强，却看不到训练细节。这催生了一大批开源大模型项目，它们试图用公开数据、公开代码、公开权重来复现类似的能力。
开源阵营里最值得一提的转折点是Llama系列的发布。它虽然不是最大的模型，但通过相对“小”的模型尺寸（7B、13B、70B），达到了非常强的性能，而且权重完全公开。这直接引爆了全球的微调和部署热潮。因为模型权重公开之后，任何人都可以在消费级显卡上运行一个7B或13B的模型，用来做本地部署、微调、定制开发。
国内的开源生态同样非常活跃，比如ChatGLM系列。它以中文能力见长，而且对中文场景做了非常多的针对性优化。你可以在本地跑一个ChatGLM的量化版本，做一个完全私密的本地AI助手，而无需把数据发给任何云端服务。这对于数据敏感的行业，比如医疗、金融、科研，价值非常大。
开源和闭源之间的竞争关系也非常有趣。闭源模型凭算力优势，模型尺寸更大、能力更强；但开源模型凭借社区的力量，迭代速度快、定制化程度高、部署成本低。两者的差距一直在动态变化中。站在使用者的角度，开源模型提供的是一个“可控”的选项，你完全掌握数据和模型，不用担心数据隐私或服务商变动，这在很多场景下比单纯追求最高精度更重要。
6.2 微调的艺术：LoRA为什么能以小博大
在大模型应用实践中，最出圈的一项技术是LoRA（Low-Rank Adaptation，低秩适配）。它的出现解决了“微调成本太高”这个核心痛点。
LoRA的思想是在冻结原模型权重的前提下，额外引入一组低秩矩阵，在训练时只更新这些低秩矩阵的参数。因为低秩矩阵参数量很小，所以训练所需显存和算力都大幅下降。举个例子，对一个7B模型做全量微调可能需要20GB以上的显存，而用LoRA微调，显存占用可以控制到6GB以内。
它的数学原理可以这样理解：虽然模型的原始权重维度很高，但在针对某个特定任务做微调时，真正需要更新的参数可能分布在一个较低维度的子空间里。低秩矩阵恰好去逼近这个低维子空间的变化，用较少的参数捕获大部分有效的模型更新。
我在自己的项目中用过很多次LoRA，最大的体会是它大大拉低了微调门槛。一个普通开发者，不依赖庞大的GPU集群，也可以在自己的单张显卡上完成针对特定领域的大模型微调。你可以把LoRA训练出来的权重无缝加载到基座模型上进行推理，也可以常驻多个LoRA模块，随时切换不同的领域风格，非常灵活。
6.3 量化：让大模型跑在普通硬件上
与大模型部署密切相关的另一个话题是量化。模型参数越多，占用的显存就越大。7B模型用FP16精度加载，显存需求大约14GB，已经超过了很多人的单卡水平。而通过量化技术，把权重从FP16压缩到INT8甚至INT4，显存需求可以降到原来的四分之一甚至更低。
量化的基本思路，就是把模型的浮点参数映射到更少的bit来表示。压缩带来的损失通常很小，因为模型本身有冗余，而且大量参数的分布在经验上比较集中。实际部署中，我会根据场景做不同选择：如果只是跑对话demo，INT4量化足够；如果要做高精度的推理任务，推荐保留FP16或BF16。
整个开源生态都在朝着“让大模型更亲民”的方向发力。正是因为有了Llama、ChatGLM、各种量化工具、LoRA微调框架，才使得普通人也能在自己的电脑上跑起一个可用的本地大模型，而不是只能仰望云端的那几个闭源产品。这个进程还在加速，未来可能会出现更高效的架构，进一步压缩训练和推理成本。
7. 演进史给我们的启示：下一站在哪里
7.1 数据瓶颈与合成数据
要说当前大模型面临的最大制约，数据应该是首当其冲的。前面提过，高质量人类文本是有限的，而模型的训练需求几乎是无限的。很多团队开始转向合成数据（Synthetic Data）——用模型自己生成的数据来训练下一代模型。
这个方法听起来有点“吃自己的尾巴”，实际操作中确实有一些风险。如果合成数据的质量把关不严，模型会陷入一种自我复制甚至自我退化的循环。但反过来，如果能设计好合成数据的生成逻辑和质量过滤流程，它可以在一定程度上缓解数据稀缺的问题，甚至让模型在特定领域的能力超过仅靠人工标注数据所能达到的水平。
另一个有潜力的方向是多模态数据。语言模型只处理文本，但人类的学习并不只是看文字。如果我们能打通文本、图像、音频、视频之间的边界，模型的认知能力可能会有新的质变。目前已经有很多模型在图文联合理解上取得突破，但离真正的“多模态涌现”还有距离。
7.2 推理成本与效率优化
模型越来越大，能力越来越强，但推理成本也水涨船高。你部署一个70B模型在云端，每个请求的成本并不便宜。这就在商业化落地面前摆了一个很现实的矛盾：技术上能做到的事，经济上未必划算。
业界现在的方向之一是投机采样（Speculative Decoding），用一个小模型快速生成草稿，再用大模型进行验证，可以在几乎不损失质量的情况下显著提速。另一个方向是蒸馏（Distillation），把一个大模型学到的能力压缩到一个更小的模型里。这些优化手段共同的目标是：让大模型从“能用”变成“好用”，让开发者不必为每一个请求支付高昂的算力账单。
7.3 安全对齐与可控性
模型的能力越强，安全对齐的挑战就越大。早期的语言模型是没有“拒绝”这个概念的，你问它什么，它就试图回答什么。但一个有实际影响力的产品不能这样——它需要能识别有害请求、拒绝不当内容、避免输出危险信息。
安全对齐和模型的能力是一对矛盾。过度安全对齐会让模型变得保守、生硬，丧失创造性；对齐不足又会带来滥用风险。未来的方向应该是分层可控的——不同场景可以配置不同的安全策略，让模型既能在创意写作时放开手脚，也能在医疗咨询领域中保持谨慎。这个平衡点如何把握，会成为下一代大模型竞争的关键分水岭。
8. 写在最后：我在跟进大模型演进中的三点体会
如果你完整看完了上面的梳理，应该能感受到，大模型的发展不是某一天突然冒出来的奇迹，而是一次次工程决策、算法突破和数据积累叠加出来的结果。
我个人的第一个体会是，很多时候所谓的“智能涌现”，其实只是“规模+数据”带来的隐性组合能力。没有什么神秘的魔法，有的只是把“预测下一个词”这个动作做到极致之后，自然浮现出的副产品。
第二个体会是，技术路线的选择往往带有很强的路径依赖。BERT路线没有错，GPT路线也未必全对，只是在当时的算力和数据约束下，生成式路线更好地匹配了后续规模化的需求。这个判断放到今天依然适用——谁能在效率和能力之间找到更好的平衡，谁就有可能定义下一代模型。
第三个体会是，模型大小本身不是终点，落地能力才是。一个能跑在普通电脑上的小型模型，可能比一个只能部署在云端机房里的巨型模型，在真实世界里创造更大的价值。后面我打算专门写一篇关于大模型本地部署与量化操作的实操向内容，把这部分经验系统分享出来。
