无论是面试找工作、还是自学创业，甚至想要在圈子内讨论一下AGI的潜力，但凡想要深度参与到AI浪潮中，不可避免的就是学习大型语言模型（LLM）的底层原理。
但AI发展这么多年，论文、学习资料多如牛毛，并且更新换代极快，如何快速入门，学习到那些真正的基础知识，对于新手来说都是一个难题。
最近，一位AI从业者在网上分享了自己的学习过程，仅用14天就学完了LLM所需要的核心知识，学习笔记在GitHub上斩获了675+星星，并且还在持续上涨。
仓库链接：https://github.com/hesamsheikh/ml-retreat
学习路线中的主要知识点包括token嵌入、位置嵌入、自注意力、Transformer、对Q、K、V的直观理解、因果和多头注意力、温度、top-k、top-p、分类和指令微调、旋转位置编码（RoPE）、KV缓存、无限注意力（长上下文窗口）、专家混合（MoE）、分组查询注意力（grouped query attention）、llama-2架构及相关技术等。
学习LLM三步走
作者把学习路线分为了三个步骤：
1. 从头开始构建大模型（Build an LLM from Scratch）
这部分主要是总结语言模型的基础知识，包括token、位置嵌入、自注意力机制、Transformer架构、最初版本的注意力机制（Attention is All You Need论文）和微调的基本原理。
虽然网络上已经有很多资源，但其中最关键的参考资料是Sebastian Raschka编写的《从头开始构建大型语言模型》（Build a Large Language Model From Scratch），这本书解释技术原理时非常巧妙，读者也很容易理解。
在学习构建智能体时，一个无法绕过的难题就是研究自注意力机制的工作原理：自注意力机制可以让模型在处理文本时，能够理解每个单词或短语（也可以叫做token）在整体上下文中的位置和重要性。
整个过程会涉及到三个关键概念：查询（query）、键（key）和值（value），其中查询代表模型在寻找信息时提出的问题，键则是数据库中的索引，帮助智能体快速找到相关信息，而值则是查询所寻求的具体信息或数据。
三个组件的相互作用，使得智能体能够在处理语言时，不仅可以关注单个单词，还能理解单词之间的相互关系，从而更准确地捕捉文本的深层含义。
2. 大模型幻觉（LLM Hallucination）
在学习的第二部分，作者推荐学习「什么是幻觉」以及「LLMs为什么会产生幻觉」，可能也是潜伏在很多学习者脑海中的问题，对理解语言模型也有很大帮助。
幻觉是指模型生成的文本与现实世界的事实或用户的输入不一致的现象，对于研究人员以及使用LLM构建应用的人来说是一个巨大的挑战。
在研究过程中，你可能会意识到大模型的各种问题，诸如：
位置偏差（positional bias），即模型倾向于关注距离较近的token，而忽略了更远的token，偏差可能会影响模型对文本整体含义的理解。
曝光偏差（exposure bias），在推理阶段，模型预测出一个错误的token可能会影响后续token的生成，可能会导致模型在生成文本时出现一连串的错误，从而降低输出质量。
还会意识到数据、训练和推理对「幻觉」问题都有不同的影响。
为了缓解幻觉问题，可以尝试不同的训练策略，以减少模型在训练和推理时的不一致性；还可以考虑如何通过引入位置编码来解决位置偏差问题，以及如何通过增加模型的上下文理解能力来减少幻觉的发生。
总的来说，这些问题的解决需要深入理解模型的工作原理，以及如何通过各种技术手段来优化，随着研究的深入，可以开发出更加强大和可靠的智能体，以支持各种语言处理任务。
3. LLM Edge：不止注意力
最后阶段会学习到一些不那么「基础」的一些知识，但在构建LLM系统时非常关键，主要包括：
暂停（Pause） Tokens：让大模型有更多时间「思考」。
无限注意力（Infini-attention）：通过利用之前处理过的token的记忆，可以让大模型的上下文窗口变的非常大，比如Gemini模型的上下文窗口就高达100万个token。
旋转位置编码（RoPE，Rotary Positional Embedding）：一种相对位置编码方法，在Llama以及其他许多大型语言模型中广泛使用，主要优势在于能够关注序列中距离较远的token。
KV缓存（KV Cache）：消除在生成先前token时重复的计算，可以提高效率。
专家混合（MoE，Mixture of Experts）：不止使用单一的大规模模型，而是结合了多个较小的LLMs，由Mistral模型推广（Mistral的8个大小为7B的模型在某些任务上的表现超过了Llama 2的70B模型）。
为了回顾这些主题，作者主要研究了Meta的Llama模型的架构和代码，相关资源可以在代码仓库中找到。
学习资源
在研究这些主题时，作者并不只依赖单一的资源，例如在学习大型语言模型（LLMs）的基础知识时，主要参考了《从头开始构建大型语言模型》这本书；与此同时，读论文也是必不可少的，特别是那些首次提出某项技术的研究（比如原始的Transformer论文），以及综述论文，汇总了众多研究并给出了简洁的总结。
一些教学视频也很有用，可以作为预热，让心里有一个大概的印象，一个比较好的资源是Andrej Karpathy，其中包含了大量「从零开始解释大型语言模型」的教学视频。
预备知识
数学知识
线性代数：向量和矩阵，矩阵乘法
概率论和统计学：概率的基本概念，随机变量和分布，期望值和方差，最大似然估计（MLE）
微积分：微分和积分（尤其是用于反向传播），偏导数（用于基于梯度的优化）
优化：梯度下降，随机梯度下降（SGD），高级优化器（例如Adam）
编程、框架
Python：熟悉如NumPy和Pandas这样的库
深度学习框架：TensorFlow或PyTorch，熟悉模型训练、调试和评估
深度学习概念
理解感知机、激活函数和层。反向传播和梯度下降。损失函数（交叉熵，均方误差）
卷积神经网络（CNNs）（可选，但有帮助）：有助于理解模型中层的操作
温馨提示
享受学习过程
虽然作者确实在两周之内把这些主题都学完了，涉及的概念也不是特别复杂，但作者表示，两周只是用来强调这并不是一项难以完成的任务，你并不需要设定一个严格的截止日期来学习这些资源。
在刚开始学习的时候，我也没想过14天就能学完，一切都是顺其自然，即使最后花了一个月，也没有任何问题，要享受发现新事物的乐趣。
不要拘泥于学习路线图
每个人都有自己的学习节奏和背景知识，你可以对学习路线图进行调整。
学习是一个非常个性化的体验，要学什么是基于「你已知的」和「你想知道的」，对于每个人来说，这个问题的答案都是不同的，所以不要完全照搬学习路线图，可以选择其中感兴趣的部分。
没有一本书、资源或路线图是最佳的，所以不要将自己局限于单一的资源。
不必读完所有内容
当你拿起一本书、观看YouTube视频或阅读论文来研究这些材料时，并没有规定要必须从头到尾读完，只需要获取到所需要的信息，就可以关掉了。
特别是论文，完整看完可能会非常耗时，所以在阅读这些材料之前，先确定你心中的问题，并有针对性地寻找答案，可以避免在不相关的内容上浪费时间，即使这些内容可能很有价值，但可能与你的需求无关。
想入门 AI 大模型却找不到清晰方向？备考大厂 AI 岗还在四处搜集零散资料？别再浪费时间啦！2025 年AI 大模型全套学习资料已整理完毕，从学习路线到面试真题，从工具教程到行业报告，一站式覆盖你的所有需求，现在全部免费分享！
👇👇扫码免费领取全部内容👇👇
一、学习必备：100+本大模型电子书+26 份行业报告 + 600+ 套技术PPT，帮你看透 AI 趋势
想了解大模型的行业动态、商业落地案例？大模型电子书？这份资料帮你站在 “行业高度” 学 AI：
1. 100+本大模型方向电子书
2. 26 份行业研究报告：覆盖多领域实践与趋势
报告包含阿里、DeepSeek 等权威机构发布的核心内容，涵盖：
- 职业趋势：《AI + 职业趋势报告》《中国 AI 人才粮仓模型解析》；
- 商业落地：《生成式 AI 商业落地白皮书》《AI Agent 应用落地技术白皮书》；
- 领域细分：《AGI 在金融领域的应用报告》《AI GC 实践案例集》；
- 行业监测：《2024 年中国大模型季度监测报告》《2025 年中国技术市场发展趋势》。
3. 600+套技术大会 PPT：听行业大咖讲实战
PPT 整理自 2024-2025 年热门技术大会，包含百度、腾讯、字节等企业的一线实践：
- 安全方向：《端侧大模型的安全建设》《大模型驱动安全升级（腾讯代码安全实践）》；
- 产品与创新：《大模型产品如何创新与创收》《AI 时代的新范式：构建 AI 产品》；
- 多模态与 Agent：《Step-Video 开源模型（视频生成进展）》《Agentic RAG 的现在与未来》；
- 工程落地：《从原型到生产：AgentOps 加速字节 AI 应用落地》《智能代码助手 CodeFuse 的架构设计》。
二、求职必看：大厂 AI 岗面试 “弹药库”，300 + 真题 + 107 道面经直接抱走
想冲字节、腾讯、阿里、蔚来等大厂 AI 岗？这份面试资料帮你提前 “押题”，拒绝临场慌！
1. 107 道大厂面经：覆盖 Prompt、RAG、大模型应用工程师等热门岗位
面经整理自 2021-2025 年真实面试场景，包含 TPlink、字节、腾讯、蔚来、虾皮、中兴、科大讯飞、京东等企业的高频考题，每道题都附带思路解析：
2. 102 道 AI 大模型真题：直击大模型核心考点
针对大模型专属考题，从概念到实践全面覆盖，帮你理清底层逻辑：
3. 97 道 LLMs 真题：聚焦大型语言模型高频问题
专门拆解 LLMs 的核心痛点与解决方案，比如让很多人头疼的 “复读机问题”：
![]()
三、路线必明： AI 大模型学习路线图，1 张图理清核心内容
刚接触 AI 大模型，不知道该从哪学起？这份「AI大模型 学习路线图」直接帮你划重点，不用再盲目摸索！
路线图涵盖 5 大核心板块，从基础到进阶层层递进：一步步带你从入门到进阶，从理论到实战。
L1阶段:启航篇丨极速破界AI新时代
L1阶段：了解大模型的基础知识，以及大模型在各个行业的应用和分析，学习理解大模型的核心原理、关键技术以及大模型应用场景。
L2阶段：攻坚篇丨RAG开发实战工坊
L2阶段：AI大模型RAG应用开发工程，主要学习RAG检索增强生成：包括Naive RAG、Advanced-RAG以及RAG性能评估，还有GraphRAG在内的多个RAG热门项目的分析。
L3阶段：跃迁篇丨Agent智能体架构设计
L3阶段：大模型Agent应用架构进阶实现，主要学习LangChain、 LIamaIndex框架，也会学习到AutoGPT、 MetaGPT等多Agent系统，打造Agent智能体。
L4阶段：精进篇丨模型微调与私有化部署
L4阶段：大模型的微调和私有化部署，更加深入的探讨Transformer架构，学习大模型的微调技术，利用DeepSpeed、Lamam Factory等工具快速进行模型微调，并通过Ollama、vLLM等推理部署框架，实现模型的快速部署。
L5阶段：专题集丨特训篇 【录播课】
![]()
四、资料领取：全套内容免费抱走，学 AI 不用再找第二份
不管你是 0 基础想入门 AI 大模型，还是有基础想冲刺大厂、了解行业趋势，这份资料都能满足你！
现在只需按照提示操作，就能免费领取：
👇👇扫码免费领取全部内容👇👇
2025 年想抓住 AI 大模型的风口？别犹豫，这份免费资料就是你的 “起跑线”！
