【AI Infra面试】基础学习汇总篇-平芜编程栈

AI Infra基础汇总

系列综述：
💞目的：本系列是个人整理为了AI Infra找工作的，整理期间苛求每个知识点，平衡理解简易度与深入程度。
🥰来源：每个知识点的修正和深入主要参考各平台大佬的文章以及面试相关题目，遵循CUDA为主，CANN为辅的体系构建
🤭结语：如果有帮到你的地方，就点个赞和关注一下呗，谢谢🎈🎄🌷！！！

请先收藏！！！，后续继续完善和扩充👍(●’◡’●)
自我检查：卡码笔记—大厂面试题目

文章目录

😊点此到文末惊喜↩︎

😎核心矛盾：在稀缺昂贵的硬件资源，压榨出极致的性能和效率，去支持大模型的训练和推

1. Cuda/Triton - triton能够能让你用Python写出接近手写CUDA性能的算子，极大提升你对GPU编程的理解 - 手撸CUDA Kernel，能看懂NCCL源码和能做显存优化是推理核心人才的候选人 2. pytorch - CMU 10-714 Deep Learning Systems这门课虽然是陈天奇大佬早些年搞的，但里面的核心思想 - 从零构建一个深度学习框架、自动微分、计算图调度，是绝对的内功心法。 3. 推理框架sglang/vllm - 性能调优，前沿跟踪、团队协作、业务场景理解、原理级理解、工程化，线上稳定性，性能分析。 - 这些都不是"我会用某个东西"，而是"我能把东西跑稳跑快，并且说得清原因" - 这种能力简历上没有一个框可以打勾，能证明它的只有一样东西：一个你从头做到尾、有真实数据、每个决策都讲得出为什么的项目。 4. agent - 搭一个agent，端到端怎么做意图识别，怎么做 mcp，怎么管理多轮对话的记忆，怎么评测端到端 agent，多 agent 情况下怎么做 routing - 工具调用出错、检索不全召回不好，该怎么优化。把这一套真正做好做扎实，含金量是绝对够的。 - 至少筛简历不是看你项目做什么，重点看你做到深度了没有，数据从哪来、为什么这么做、出了问题怎么定位、效果怎么评

零、计算机基础

1. 编程语言

高效应用Python

2. 必刷算法

目的：分别使用python和cpp都完成，目的是熟悉基础的语法和基本库
要求：对于没有ACM竞赛经验的，强烈建议直接背诵【leetcode hot 100 或该链接下前150道题目】

【秋招基础】ACM输入方式和常见题目总结
【数据结构】基础知识总结
【基础算法】排序算法详述
【基础算法】数组相关题目
【基础算法】链表相关题目
【基础算法】字符串相关题目
【基础算法】二叉树相关题目
【基础算法】贪心算法基础
【基础算法】回溯算法相关题目
【基础算法】动态规划算法相关题目
【算法刷题】基础技巧总结
【算法刷题】笔试真题
【算法总结篇】笔面试常见题目

3. 开发基础

【操作系统】基础知识总结
【计算机网络】TCP和UDP详解
【计算机网络】HTTP详解
【数据库】MySQL基础知识全解
【数据库】Redis基础知识全解
【高并发基础】基本锁算法及原理
【设计模式】综述
【设计模式】创建型模式
【设计模式】对象行为型模式
【设计模式】结构型模式基础
【设计模式】非GOF的常见设计模型

一、AI基础层

1. GPU 硬件架构

【GPU架构】硬件基础详解

2. CUDA 编程模型

核函数（Kernel）
内存管理（malloc/free、内存复制）
流（Stream）
事件（Event）。
优化技巧：循环展开、内存合并访问、减少全局内存访问。

3. NCCL网络架构

实践建议

完成 NVIDIA 官方 CUDA 教程（CUDA C++ Programming Guide）。
用 CUDA 实现矩阵乘法、卷积等基础算法，并优化性能。
学习使用 Nsight Compute 分析性能瓶颈。

二、分布式与并行基础

分布式计算

高性能并行

二、PyTorch 框架

理论基础

动态计算图：自动微分机制（Autograd）、反向传播优化。
分布式训练：DataParallel、DistributedDataParallel（DDP）、混合精度训练（Apex 库）。
模型优化
内存优化（梯度累积、激活检查点）、算子融合（TorchScript）。
PyTorch自推出以来，以其动态计算图和高效的GPU加速而受到广大研究者和开发者的青睐。在本文中，我们将深入剖析PyTorch的原理，并通过源码分析揭示其高效计算的秘密。
一、PyTorch的设计理念
PyTorch遵循“由下至上”的设计思路，将深度学习建模与计算力相结合，为用户提供了一个简洁直观的编程接口。不同于TensorFlow等静态图框架，PyTorch采用动态图模式，使得模型构建更加灵活，且易于调试。
二、核心组件概览

Tensor：PyTorch中的核心数据结构，类似于numpy的ndarray，支持GPU加速。
Autograd：自动求导系统，用于实现反向传播算法。
Neural Network Library (nn)：提供了丰富的神经网络模块和函数。
Optimizers：用于优化模型参数。
Distributed Training：支持多GPU和多机训练。
三、高效计算的关键技术
GPU加速：利用CUDA实现GPU上的并行计算，显著提高计算速度。
动态图与Just-In-Time (JIT)编译：PyTorch通过即时编译技术将动态图转换为静态图，优化性能。

实践建议

复现经典模型（如 ResNet、Transformer），掌握模型构建与训练流程。
使用 PyTorch DDP 实现多 GPU 训练，并对比单卡与多卡性能。
尝试混合精度训练（torch.cuda.amp）和激活检查点（torch.utils.checkpoint）。

三、Megatron-LM

理论基础

【LLM基础】Megatron-LM相关知识（主要是张量并行机制）
模型并行策略：张量并行（Tensor Parallelism）、流水线并行（Pipeline Parallelism）。
显存优化：激活重计算（Activation Recomputation）、内存优化器（Memory Optimizer）。
大模型训练技巧：学习率调度（如余弦退火）、数据预处理（BPE 分词）。

实践建议

阅读 NVIDIA 官方论文《Megatron-LM: Training Multi-Billion Parameter Language Models Using Model Parallelism》。
克隆 Megatron-LM 仓库（GitHub），运行示例脚本（如 GPT-2 训练）。
尝试修改模型并行参数（如–tensor-model-parallel-size），观察显存占用和训练速度变化。

四、DeepSpeed

理论基础

【LLM基础】DeepSpeed基础知识
优化技术
- 零冗余优化器（ZeRO）、混合精度训练、梯度累积。
- 通信优化（梯度压缩、稀疏化）。
扩展性：支持万卡级分布式训练，与 PyTorch DDP 兼容。

实践建议

学习 DeepSpeed 官方文档（DeepSpeed Documentation）。
在 PyTorch 模型中集成 DeepSpeed，对比启用 ZeRO 后的显存占用和训练效率。
尝试不同的配置选项（如–deepspeed_config中的optimizer和scheduler参数）

五、拓展实践

作者：Cyril-KI
链接：https://zhuanlan.zhihu.com/p/1915522230047188150
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。
(2) 实习。常见的问题有：负责了哪些？有没有创新？应用场景？为什么选这个开源基座？模型的输入输出？参数设置经验？全量还是LoRA？训练框架？SFT数据集构造过程？数据的多样性？RLHF数据集构造过程？什么RL算法？PPO、RAINFORCE++、DPO、GRPO、Dr.GRPO、DAPO等等具体原理？Reward设计？对比过哪些模型？如何评测？指标计算方法？效果如何？资源使用情况？实习中用到的XXX模型/架构/方法/流程的原理？实习中最有挑战的部分？客户如何使用？有没有其他解决办法？上线后的bad case如何解决？基于XXX场景如何重新设计？(3) 通用八股，这部分也可能基于你的实习来问。常见的问题有：常见开源模型的架构，transformer、BERT、位置编码、分词、训练推理优化、DPO/PPO等。此外，ML/DL常见八股也会考察，比如损失函数，norm/残差、逻辑回归、AUC、类别不平衡、树模型等。(4) 论文：常见的问题有：你负责了哪些部分？motivation？创新点？为什么效果会有提升？数据集介绍？针对这个工作后续有没有优化？如何落地？如何和LLM结合？(5) 算法题：遇到的大部分都是LeetCode上的原题，比如Hot 100和经典150题，少部分会有一些智力题，以及手写MLP(minimax必考题)、MHA、MQA、GQA、Beam Search、LoRA等。

少年，我观你骨骼清奇，颖悟绝伦，必成人中龙凤。不如点赞·收藏·关注一波

🚩点此跳转到首行↩︎