这两年问我"大模型怎么入门"的人特别多，但大部分人一开始就被"Transformer""注意力机制""微调"这些词吓退了。其实零基础学大模型，难点根本不在数学，而在你手里拿着一张错误的地图：以为必须先把深度学习啃完才能动手，以为本地部署需要几万块的显卡，以为微调是遥不可及的操作。这篇内容我按考点的方式重新梳理了一遍，把大模型学习里最常考、也最容易被误解的知识点拆开讲清楚，哪些需要背、哪些需要理解、哪些上手敲一遍就懂，都会交代明白，适合准备面试、转行入门，或者刚接手大模型相关项目但还没系统过一遍基础的朋友。
1. 大模型不是搜索引擎：先纠正两个基础认知
1.1 大模型是"语言的概率模型"，不是知识库
很多人第一次用大模型时都会产生一个错觉：它像个超级搜索引擎，什么问题都能检索出来。这个理解会在后续学习里反复误导你。搜索的核心是"匹配已有内容"，而大模型的核心是"预测下一个词"。你输入一句话，大模型做的事情只有一件：计算下一个词最有可能是什么，把那个词输出，然后继续算下一个词。所谓的"回答"，其实是它一个词一个词地"接龙"出来的。
LLM（Large Language Model）这个名字本身就很说明问题，重点在"Language Model"，语言模型，而不是"Knowledge Base"，知识库。它学习的是海量文本里的统计规律，不是把文章背下来。
比如你问它"3.8和3.11哪个大"，如果你输入的是"3.8大"还是"3.11大"这样的歧义表述，它可能直接答错，因为从统计规律上看"3.8大于3.11"在编程版本号语境里是错的，在普通语境里却是对的。它没有数学符号的概念，只有文本序列的规律。理解这一点，你就明白为什么大模型会一本正经地胡说八道——它不是故意骗你，而是它的生成机制决定了它只负责"说一句概率最高的话"，不负责"说一句绝对正确的话"。
1.2 训练和推理：一个像背资料，一个像上台考试
大模型有两个完全不同阶段：训练和推理。
训练阶段，模型读入海量文本，不断调整内部参数，目的是让"预测下一个词"的准确率越来越高。这个过程有个形象的类比：训练像是考前一个月天天背资料，资料量越大，背得越久，模型掌握的"语言规律"就越丰富。参数就是模型大脑里的连接权重，7B、8B、70B里的"B"就是Billion，十亿参数。参数越多，容量越大，但训练和部署成本也越高。
推理阶段，模型不再更新参数，而是根据你给的输入一个词一个词地生成输出。你敲入提示词，它开始计算，生成第一个词，然后把这个词拼进输入，再预测下一个词，循环往复。这也是为什么大模型回答的速度用"多少token每秒"来衡量，而不是"多少字每秒"。
我把这两个概念放最前面，是因为后面所有考点都挂在它们身上：微调是训练阶段的事，部署主要关心推理阶段的事，上下文窗口是推理时的输入限制，Token更是两个阶段都要用到的底层单位。基础概念不纠正，后面会一直别扭。
2. 考卷里的硬骨头：Tokenizer、注意力机制与上下文窗口
2.1 Tokenizer：模型眼里的"字"和你不一样
大模型处理文本的第一步，是把人类语言切成Token，也就是模型能理解的"最小文本单元"。这个过程叫Tokenizer。它和人类理解的"字""词"不是一回事。
英文里，一个常见单词可能就是一个Token，比如"hello"，也可能一个词被切成多个Token，比如"unbelievable"可能切成"un"、"believ"、"able"三段。中文因为字符密度高，通常一个字对应一个Token，也有的模型会把常用词整体切成一个Token。所以当你问"这个模型支持多少上下文"时，看到的是Token数，不是字数。一条大概500个汉字的消息，换算成Token可能接近700到900，具体要看你用的分词器。
很多零基础的人第一次跑大模型就被Token这个概念坑了：写了个一万字的长文档进去，结果模型直接报错，说超出上下文限制。这不是模型"读不完"，而是Token额度用完了。我在实际测试中经常建议用一个小技巧：把内容按标题、段落、结论分块，先送结论，再逐步追问细节，能省下大量Token。这也顺带说明了"大模型如何理解文档"这个高频问题——它不是一口气读完，而是先切块，再通过注意力机制逐块理解。
2.2 自注意力机制：让模型学会回看前文
考点里最绕不开的是注意力机制，尤其自注意力。很多教程一上来就甩Query、Key、Value三个矩阵，吓得零基础读者直接放弃。我换个说法解释。
你读一段话的时候，遇到代词"它"，脑子里会自动回溯前面内容，确认"它"指的是什么。自注意力机制做的事情就是这个回溯，只是它做得更夸张：模型在计算每个词的含义时，会同时查看前面所有词，给每个词分配一个权重，决定"当前这个词应该重点关注前面的哪些词"。Query是你当前想找什么，Key是前面每个词挂了什么标签，Value是前面每个词的具体内容。先做匹配，再取内容，加权求和，得到当前词的"语境化表示"。
多头注意力则是多组这样的查找过程并行进行，一组关注语法关系，一组关注语义关联，一组关注位置远近。这也是Transformer能成为大模型基石的真正原因：它让每个词的理解都建立在全局上下文之上，而不是只看前后几个词。考试里如果只让你背"注意力机制"的定义，那是在考名词；真正会考的是给你一个句子，让你分析为什么"银行"这个词在不同上下文里含义不同，答案就是注意力权重决定它以哪种语境为主。
2.3 上下文窗口与"文档理解"的真实关系
上下文窗口是个数字，比如128K、1M，表示模型一次能处理的Token上限。大模型的上下文长度这两年不断被刷新，但你要明白一件事：窗口大不等于记忆好，更不等于理解深。
实测中，很多长窗口模型在中间部分的信息利用率明显低于开头和结尾，学术上叫"中间遗忘"现象。就好比一个人能听完三个小时的报告，但让他复述中间半小时的内容，他可能只记得个大概。所以当你需要让模型处理一份很长的文档时，最稳妥的做法不是直接整篇塞进去，而是先切块、做检索、再喂给模型，这也是下一代技术的核心动机。
这块我强烈建议零基础者亲手做一次实验：找一段五千字的文章，分别用"完整输入"和"先切片再逐段提问"两种方式问同一个问题，对比效果。你会发现后者的答案稳定得多，而且更省Token。理解了这一层，后面学RAG（检索增强生成）就是顺水推舟的事情。
3. 提示词、RAG、微调的三选一：考点怎么考，项目怎么选
3.1 提示词工程：零成本得分的起点
提示词工程是所有考点里投入产出比最高的一个，零基础也能当天上手。核心考点有三个：System Prompt、Few-shot、思维链。
System Prompt是系统提示词，规定模型的角色和回答边界，比如"你是某公司的客服，只能使用正式语气回答"，这相当于给模型立规矩。Few-shot是给模型几个示例，让它模仿格式回答，示例的数量和质量直接影响输出效果。思维链则要求模型"先讲推理过程再给结论"，特别适合数学题、逻辑题，错误率能降不少。
我见过很多人问："大模型都这么强了，还要学提示词吗？"答案是当然要。提示词是成本最低的杠杆，你改几个字，输出质量就能差一个档次。而且提示词工程是所有高级技术的基础：RAG需要把检索结果整理成提示词，Agent需要用提示词给模型下任务，微调后的模型也需要配合提示词才能发挥最佳效果。考纲里如果只让你掌握一项技能，我会建议先学这个。
3.2 RAG：让模型学会查资料
RAG的全称是检索增强生成，核心思路是：模型遇到不懂的问题时，先从一个外部资料库检索相关内容，把检索结果拼进提示词，再生成答案。
这里有个考点辨析：模型掌握的知识截止在训练时，新知识它不知道，临时查资料更靠谱。RAG刚好解决这个问题。它由三个关键环节组成：知识库里的文档先被切块并向量化，用户提问后系统做相似度检索，最后把召回内容与问题一起送进大模型。与之关联的高频词还包括向量数据库、召回、重排等知识点。
有个叫OneKE的知识抽取框架也经常出现在相关考题里，作用是从文档里自动抽取结构化信息，比如把一份合同抽成"甲方、乙方、金额、期限"这样的结构，再把这些结构化内容灌进知识库，RAG的检索效果会明显好于直接存整段原文。我在做企业内部文档问答时吃过这个亏：文档不结构化就直接建索引，用户问"这份合同什么时候到期"，检索出来的是一大段无关杂讯，答案自然也是错的。先在输入端做知识抽取，再进向量库，是很多人踩过坑之后总结出来的成熟做法。
3.3 微调：改变模型的行为习惯
微调是在预训练模型的基础上，用特定格式的数据再做一轮训练，让模型适应你的任务风格。它和RAG有本质区别：RAG是给模型配一个外部记忆库，模型本身没变；微调是模型本身的行为习惯变了。
我再举个例子。如果想让模型用"前辈教训后辈"的口吻写作，提示词能临时让它模仿，但每次都要写很长，效果还不一定稳定；用一百条这种口吻的对话数据做微调，模型会真正养成这个风格。同样，如果业务里有大量特殊术语和固定格式，微调的效果会非常明显。
微调有三种常见粒度。全参数微调需要考量和投入较大，消费级用户一般用不了；LoRA（低秩适配）是训练一小部分新增参数来近似模拟全量微调的效果，显存占用小得多，是最常用方案；QLoRA在LoRA基础上再叠加量化，让普通消费级显卡也能微调。考点里出现"GPU微调大模型"时，问的绝大多数是后两者。这里有个常见误区：微调不改变模型的知识储备，只改变表达方式。想让模型知道"2026年某新产品发布了"，用微调解决不了，得上RAG。
3.4 一张表解决选择题
遇到具体场景该选哪个，可以按这张表来对号入座。
| 业务场景 | 首选方案 | 原因 |
|---|---|---|
| 临时调整回答风格 | 提示词工程 | 零成本，改提示词即可 |
| 回答私有知识库问题 | RAG | 知识可更新，无需重新训练 |
| 让模型沿用固定写作格式 | 微调（LoRA） | 行为风格稳定复现 |
| 处理上万字长文档 | RAG+切块 | 避免超出上下文窗口 |
| 私有数据不离内网 | 私有化部署+RAG | 数据不出本地，模型本地运行 |
| 既要求格式又要求新知识 | 微调+RAG组合 | 两者解决不同维度的问题 |
考试里最常见的问法就是给你一个业务需求让你选方案。记住一句话：RAG管"知识"的获取，微调管"风格"的养成，提示词管"当场"的约束。三者不是竞争关系，而是叠加关系，高级项目往往是三件套一起用。
4. 把考点落到机器上：本地部署与显存估算的实战逻辑
4.1 先算显存账：模型能不能跑由它决定
本地部署大模型的核心约束不是CPU，不是网络，而是显存。显存不够，模型根本加载不进去。零基础先学会估算显存，比盲目下载模型重要得多。
有一个粗略但实用的公式：模型文件大小约为参数量乘以每个参数占用的字节数。FP16（半精度）下每个参数占2字节，所以一个8B参数的模型，FP16权重大约16GB。也就是说，没有量化的情况下，8B模型需要约16GB显存才能完整加载。如果显卡只有8GB，就只能靠量化来压缩。
量化就是把模型权重从高精度降到低精度，比如从FP16（2字节）压到INT4（0.5字节）。8B模型量化到INT4，权重部分降到约4到5GB，再加上KV Cache和激活显存，实测中8GB显卡勉强能跑，但速度不快。所以选模型的建议是：8GB显存以下优先考虑1.5B、3B、4B级别的小模型，8GB到12GB可以跑7B到8B的量化版本，24GB以上才有余力跑14B模型，想跑70B模型就得上多卡或大显存方案了。
考试里如果出现"为什么量化后的模型回答质量下降"，答案是：低位宽表示损失了部分精度，模型输出的确定性和细腻程度都受影响，尤其逻辑推理类任务更明显。所以部署时要根据任务严肃程度决定量化位宽，内部闲聊可以Q4，业务输出至少Q8。
4.2 GGUF、Ollama与LM Studio：本地部署的三个常用词
现在本地跑大模型的主流路线已经非常成熟，Ollama是很多人入门的第一站。它把模型下载、加载、API服务全封装好了，命令行下两件事就能跑起来：
ollama pull qwen2.5:7b ollama run qwen2.5:7bpull是把模型下载到本地，run是启动交互式对话。下载下来的文件是GGUF格式，这也是热点问题"Ollama安装的大模型是一个什么文件"的答案：GGUF是一种经过量化的模型权重封装格式，专为CPU/GPU混合推理设计，文件里包含模型的张量数据、超参数和分词器信息。换句话说，Ollama帮你去掉了解压、转换、写推理代码的环节，GGUF就是那个开箱即用的模型包。
不想用命令行的，可以用LM Studio，图形界面，下载模型和启动聊天都很方便。它还能起一个本地API服务，供其他程序调用。有朋友问过Visual Studio 2022能不能直接连LM Studio的本地模型写代码，答案是可以，启动LM Studio的本地API后，在代码编辑器里接上接口地址，就能把补全模型当AI结对工具用，完全本地运行，代码不出机器。
内网离线环境部署是另一个高频需求。做法是找一台能上网的机器把模型拉到缓存目录，然后拷贝到内网机器，再用Ollama从本地文件导入，手动写一个Modelfile指向该路径。很多企业大模型私有化部署第一步就是这么干的，听着高大上，拆开就是文件搬运加配置。需要注意，离线机器上除了模型文件，还得把Ollama安装包也带进去，离线安装时选GCC或Radeon对应的版本，别选错运行时。
4.3 推理加速：考点里的"性能题"
零基础经常忽略推理性能这个考点，但实际部署时它最影响体验。推理慢的原因在于模型每生成一个Token都要重新计算一遍前面所有Token的注意力权重，重复计算非常多。KV Cache就是把这些历史计算结果缓存下来，避免每次从头算，这是最基础的加速手段。
更进一步，vLLM这类推理框架实现了PagedAttention和连续批处理。PagedAttention思想类似操作系统里的分页，把KV Cache切成小块按需分配，减少显存浪费；连续批处理则是多个请求实时混在一起推理，而不是等一批全部结束再进下一批，吞吐量能提升好几倍。这就是为什么同样一张显卡，裸跑Ollama和用vLLM部署的服务，并发性能可能差一个数量级。
顺带提一句硬件趋势：除了NVIDIA显卡，AMD的NPU、主流CPU厂商的新品也在做端侧大模型加速。实测下来NPU跑中小模型功耗低，但生态还不完全统一，零基础阶段不必纠结，先把显存、量化、KV Cache这套通用逻辑搞定，换什么硬件都适用。
5. 多模态与Agent：近两年最爱出的新题
5.1 多模态：图像、语音和文本进同一个模型
大模型早期只处理文本，现在多模态已经成为基本面。多模态大模型指的是用一个统一的模型架构同时理解文本、图像、音频、视频等输入。核心思想是把不同模态的数据映射到同一个向量空间，比如把一张猫的图片和"猫"这个词映射到相近的位置，模型就能在模态之间做关联推理。
实际应用里，最常见的组合是"图片输入+文本输出"和"语音输入+文本输出"。前者典型如截图识别、图表分析，你给模型一张报表图，它能读出数据并总结趋势；后者典型如实时语音转写，前端先做语音识别成文本，再把文本交给大模型处理和应答。有些绘图模型走的是相反方向，输入一句话，输出一张符合描述的图，比如文生图模型"造相-z-image-turbo"这类工具，背后就依赖多模态理解能力完成"文本-图像"的对齐。
零基础遇到多模态考题，记住一点：多模态的关键不是"同时处理多种数据"，而是"不同模态之间存在对齐关系"。模型算的是图片里的视觉特征和文本里的语义特征之间的距离，距离近就是语义相关。围绕这个点展开，答题就不会跑偏。
5.2 Agent：给大模型装上"手"和"行动计划"
Agent（智能体）是把大模型从"问答工具"升级为"执行者"的技术形态。仅靠大模型本身，它能说话，但做不了事。Agent给模型接入工具，让它能调用搜索引擎、操作API、读写数据库，同时让它具备规划能力，能把一个复杂任务拆成多个步骤去执行，并循环观察结果、修正下一步。
考点里常出现"AI智能体应用案例"，我举一个最典型的客服Agent工作流：用户提问"我想查订单"，模型解析意图，调用订单查询API，拿到订单状态后生成答复合订。整个流程的关键词是Retrieval（检索）、Planning（规划）、Memory（记忆）、Tool Calling（工具调用）。其中工具调用是最近两三年最热的考点。
Dify这类平台把Agent工作流可视化，你可以在界面上拖拽节点，把大模型、检索、工具调用串起来，然后接入本地模型。另一项值得关注的新技术是MCP，一种统一工具调用的标准协议，它让模型对接"数据库""代码库""浏览器"等外部工具时不再需要每家单独写适配器。此前就有游戏引擎官方把大模型MCP接入编辑器，开发者可以在引擎内直接用自然语言触发资源生成或场景调整，这正是Agent走向生产环境的信号。
做题时如果遇到Agent相关题目，最容易丢分点有两个：一是只答"大模型是大脑"，没提工具和记忆；二是没考虑"循环失控"问题。实际开发中，Agent一旦规划出错，可能反复调用工具停不下来，所以工程实现上必须加最大循环次数和人工确认节点。
5.3 一道综合应用题的完整拆解
这类考点在面试里经常以综合题出现，比如：为一个公司做一个"内部制度文档问答助理"，要求回答必须依据公司文档、不能胡说、还要在内部网络运行。
拆解下来就是五步。第一步需求分析：明确问题类型是知识问答，资料是已有的制度文档，数据敏感不能出内网。第二步方案选型：私域知识优先选RAG，不需要微调；环境限制要求私有化部署。第三步知识库构建：把制度文档切块、清洗，用OneKE等工具做结构化抽取，再向量化存入向量数据库。第四步部署推理：在内网服务器上部署量化后的7B或8B模型，通过Ollama或vLLM提供API服务。第五步联调与护栏：设置System Prompt约束回答只能依据检索内容，检索不到就明说不知道，必要时接上Dify做个可视化后台，方便业务人员维护。
这道题综合了RAG、私有化部署、提示词工程、Agent集成四个考点。能做通这五步，大模型应用的核心框架就已经掌握得差不多了。考试里不管题干怎么换，"数据从哪来、模型在哪跑、行为怎么控"这三问永远是主线。
6. 四周清扫一遍：零基础的学习路线与自测清单
6.1 四周分阶段把考点过一遍
网上各种"大模型学习路线"长到看不见尽头，我根据大量零基础学员的实际进度，给一条更克制的路线，四周够用。
第一周只学提示词和基础概念：大模型是什么、Token、上下文窗口、训练与推理的区别。这些用最小模型就能验证，不需要GPU，免费API也能学。第二周专攻Transformer：注意力机制、位置编码、为什么自注意力能并行。这一阶段不要死磕公式，能画清楚"Query和Key做匹配、Value取内容"的流程就够了。第三周做工程实践：把RAG跑通、微调一次LoRA、部署一次本地模型。目标不是做大项目，而是建立"我能从头到尾搭一遍"的信心。第四周补齐多模态和Agent：看几个多模态应用案例，用Dify配置一个带工具调用的Agent。这样四周下来，你既有了理论考点，也有了可以写进简历的实操记录。
6.2 考点掌握程度分三层，别平均用力
学习大模型最容易犯的错是平均用力。我的建议是完全按三个层次分配精力。
第一层是"了解"，主要指多模态、Agent、MCP这类新概念，知道它解决什么问题，能说清楚关键词即可，占学习时间的不到两成。第二层是"理解"，主要包括RAG的检索逻辑、微调与RAG的区别、上下文窗口的限制原理，这部分不但要懂原理，还要能在场景题里做选择，占三成精力。第三层是"实操"，提示词工程、本地部署、显存估算、LoRA微调流程，每一项都要亲手做一遍，占一半以上时间。面试和实际项目中，最终考验的永远是第三层。
遇到热词里"从零构建大模型PDF""AI大模型教程"这类资料，先别急着囤。零基础阶段最好的资料是一份能跑通的最小代码示例，而不是几百页的理论文档。可以先把资料目录收藏，等动手遇到具体问题再回去查对应章节，效率高得多。
6.3 十道自测题，做完再去看真题
学完上面的内容，用这十道题检验一下：
- LLM的"L"为什么是Language而不是Knowledge？
- 一段1000字中文大约会切成多少Token？
- 为什么长上下文模型也会漏掉文档中间的信息？
- 模型回答时为什么要"循环生成"而不是一次性输出全文？
- 8B模型FP16权重大概占多少显存？量化到INT4后呢？
- 业务需要更新知识库，应该用RAG还是微调？
- LoRA和全参数微调的本质区别是什么？
- 为什么量化后模型逻辑推理能力可能下降？
- Agent遗忘之前对话历史时，应该靠什么组件解决？
- 私有化部署时，模型文件该通过什么方式进入内网？
前六题如果你能直接答出来，说明基础已经很扎实；后几题哪怕答得不完整，只要知道关键方向，也足以应对大多数入门级场景。
说实话，带过这么多人从零开始学大模型，我最深的体会是：考点精讲最怕变成名词堆砌。一个知识如果你能当场上手试一遍，哪怕用的是3B的小模型，记忆牢固度也远超背十遍PPT。所以别等我给你列更多理论了，找个平台申请一个免费API额度，或者直接在本地装个Ollama拉个7B左右的小模型跑起来，把那十道自测题变成十次小实验，一周后你回头看这篇内容，会发现很多"考点"其实早就是常识了。
