「大模型（LLMs）核心原理」面试题
这里写目录标题
- 「大模型（LLMs）核心原理」面试题
- 一、大模型（LLMs）核心原理（基础面+进阶面）
- （一）基础面核心原理
- 1. 主流开源模型体系（原理+实例）
- 2. 三种Decoder结构的区别（原理+适用场景+实例）
- 3. LLM的训练目标（原理+实例）
- 4. 涌现能力的成因（原理+实例）
- 5. Decoder-only成为主流的原因（原理+实例）
- 6. LLMs参数含义（175B、60B等）
- 7. LLMs的优缺点（原理+实例）
- （二）进阶面核心原理
- 1. 生成式大模型（原理+实例）
- 2. 生成文本丰富不单调的实现方式（原理+实例）
- 3. LLMs「复读机问题」（原理+成因+12种缓解方案）
- 二、大模型训练/微调关键问题（原理+实例）
- 1. 用于大模型微调的数据集构建（原理+实例）
- 2. 大模型训练Loss突刺（原理+成因+解决办法）
- （1）定义
- （2）成因
- （3）解决办法+实例
- 三、深度学习核心知识点（原理+实例+代码/步骤）
- 1. LN（Layer Normalization）和BN（Batch Normalization）的原理和区别
- 2. 交叉熵（Cross Entropy）的数学推导+代码手写
- （1）核心原理
- （2）Python代码手写（二分类交叉熵）
- 3. Sigmoid函数（原理+代码手写）
- （1）核心原理
- （2）Python代码手写
- 4. 手撕多头注意力（Multi-Head Attention）
- （1）核心原理
- （2）手撕步骤+实例（以d_model=64，h=8，d_k=8为例）
- （3）简化Python代码
- 5. ReLU为什么能缓解梯度消失
- （1）核心原理
- （2）实例对比
- 6. Adam优化器原理
- （1）核心原理
- （2）实例
- 7. AUC计算方法（原理+实例）
- （1）核心原理
- （2）实例
- 8. Python装饰器作用（原理+实例）
- （1）核心原理
- （2）实例（日志装饰器）
- 9. KL散度（原理+实例）
- （1）核心原理
- （2）实例（离散分布）
- 10. Softmax公式（原理+实例）
- （1）核心原理
- （2）实例
- 11. 梯度消失和梯度爆炸的缓解方法（原理+实例）
- 12. 手撕NMS（非极大值抑制）过程
- （1）核心原理
- （2）手撕步骤+实例
- 13. L1和L2正则的区别（原理+实例）
- 14. BN中可学习参数如何获取
- （1）核心原理
- （2）实例
- 15. 如何缓解过拟合（原理+实例）
- 16. Dropout（原理+实例）
- （1）核心原理
- （2）实例（Python代码）
一、大模型（LLMs）核心原理（基础面+进阶面）
（一）基础面核心原理
1. 主流开源模型体系（原理+实例）
- 核心原理：开源模型体系是基于统一架构（如Transformer Decoder）、公开训练代码/权重，支持二次开发的模型生态，核心差异在于训练数据、参数量、优化目标。
- 主流体系及实例：
- Llama系列（Meta）：Decoder-only架构，以Llama 3（8B/70B）为代表，支持多语言，实例：基于Llama 3微调的企业客服模型。
- Qwen系列（阿里）：支持中文优化，从7B到110B参数，实例：Qwen-7B-Chat用于中文对话生成。
- Mistral系列（Mistral AI）：高效架构（分组注意力），实例：Mistral-7B比同参数模型推理速度快3倍。
- Falcon系列（TII）：支持长上下文，实例：Falcon-40B可处理8k长度的文档摘要。
2. 三种Decoder结构的区别（原理+适用场景+实例）
| 结构类型 | 核心原理 | 适用场景 | 实例 |
|---|
