1. 项目概述：为什么我建议你从零搭建AI工程能力
我这两年见过太多人拿着现成的AI框架跑demo，跑通了就觉得自己会AI了。等到真正要在生产环境里用起来，才发现到处是坑——数据预处理比模型训练还费时间、训练好的模型没法部署、推理延迟高到用户骂街……这些问题，根子都在于很多人只学了“调用API”这一层，没有真正理解AI工程的底层逻辑。
“ai-engineering-from-scratch”这个项目，说白了就是一条从零开始、不依赖任何黑盒工具，把AI工程完整走一遍的学习路径。它不教你像念说明书一样去调某个框架，而是从数学基础、数据处理、模型构建、训练调优到部署上线，每一环都自己动手实现一遍。适合三种人：刚入门、想系统建立AI工程认知的初学者；已经会调包但是没搞懂原理、想补地基的工程师；以及想从算法岗转向工程岗、补齐工程化能力的技术人员。
我自己按照这个思路重走了一遍，最大的感受是：当你能从零写出一个线性回归、一个简单的神经网络、甚至手动推导一遍反向传播之后，再去用任何深度学习框架，你会发现自己看的根本不是同一个东西。框架只是工具，而工程能力的核心，是你对“数据怎么流动、模型怎么学习、系统怎么运转”这件事有真正的掌控感。
这篇文章不是课程大纲，而是我把整条路径走下来的复盘。我会拆解每个环节的设计逻辑、具体怎么实操、踩过哪些坑，以及怎么判断自己在哪个阶段、下一步该学什么。文章比较长，但每一步都是实打实走过来的，希望能给正在规划自己AI工程路线的朋友一个可以照着做的参考。
2. 整体设计：从零开始的AI工程需要搭哪些模块
2.1 核心思路拆解：不调库，先手写
“from scratch”这个词听起来有点吓人，很多人以为是要从数学公理开始推。其实不是。这个项目的核心思路很简单：在关键环节上，你不借助现成的ML库，而是自己实现核心算法，然后用现成框架去验证你的实现是否正确。
举个例子，你要学线性回归。通常的做法是直接调sklearn.linear_model.LinearRegression，几行代码搞定。但在这个项目里，你需要先自己用最小二乘法或者梯度下降法把参数求出来，理解损失函数怎么设计、学习率怎么影响收敛，然后再用sklearn的结果和自己的结果对比。这样一来你不仅知道怎么用，还知道它内部在做什么。
这个“先手写、后验证”的思路，我觉得是整个项目最值钱的地方。它逼迫你在每一个环节都问自己两个问题：这个算法/组件解决的是什么问题？它内部是怎么工作的？带着这两个问题去学，效率比单纯看文档高太多了。
2.2 六大模块拆解：从数学到部署的完整链路
我把整个从零搭建的过程拆成了六个模块，每个模块解决一个特定的问题：
模块一：数学基础与编程准备。线性代数（向量、矩阵、特征值）、微积分（偏导数、链式法则）、概率统计（分布、期望、似然）——这三块是AI的“底层语言”。不用学到数学系那么深，但至少要能看得懂公式，能手推简单的推导。编程方面，Python是绝对的主流，重点练习NumPy数组操作和面向对象编程，因为后续所有模块都会用到。
模块二：经典机器学习算法。线性回归、逻辑回归、决策树、SVM、K-Means。这些算法虽然“老”，但它们是理解现代AI的基石。比如逻辑回归的损失函数设计思路，直接影响了后来深度学习里交叉熵损失的设计；决策树的划分思路，演化出了梯度提升树。
模块三：神经网络与反向传播。这是从“传统机器学习”跨到“深度学习”的关键一步。你需要手动实现一个两层神经网络，自己推导反向传播的梯度公式，然后写代码验证。这一步通了，后面所有神经网络的变体（CNN、RNN、Transformer）你理解起来都会轻松很多。
模块四：数据处理与特征工程。现实世界的数据永远是脏的。缺值、异常值、量纲不一致、类别特征编码……这些看似“不高级”的活儿，恰恰是工程里最耗时、最影响最终效果的环节。这个模块要自己实现数据清洗、标准化、归一化、交叉验证分割等工具。
模块五：模型训练与调优。梯度下降的变体（SGD、Momentum、Adam）、学习率调度、过拟合的识别与缓解（正则化、Dropout）、超参数搜索。这一模块的核心是让你具备“把模型训练好”的能力，而不是仅仅把模型跑起来。
模块六：部署上线与系统集成。这可能是很多“算法出身”的人最薄弱的一环。把训练好的模型封装成API、处理线上推理的延迟与吞吐、做模型版本管理、监控数据漂移。从零搭建一个简单的模型服务，哪怕只是一个Flask接口，也能让你对整个生命周期有完整的认识。
这六个模块层层递进，前面的内容永远是后面的基石。说实话，一看到这个模块划分，我心里踏实了很多，因为走了太多弯路之后，才发现系统的学习路径比碎片化地学一万个技巧要重要得多。
3. 实操路径：从零开始我建议你这样做
3.1 数学基础：别一上来就啃大部头
很多零基础的朋友看到数学就头疼，或者反过来，一头扎进《统计学习方法》《深度学习》这类厚书里，看了两个月连环境都没搭好。这两种极端都不对。
我的建议是以用带学——用到什么学什么。比如你在实现线性回归时要用到矩阵求导，那就专门去学矩阵求导，把链式法则搞明白，然后立刻在代码里实现一遍。不要追求“系统学完再动手”，那样很容易半途而废。
具体的抓手：花一两周把NumPy的基础操作练熟，特别是广播机制和矩阵运算。然后准备一本工具书（我推荐《数学要素》或者3Blue1Brown的线性代数视频），在需要时随时查阅。遇到公式推导卡壳，一定要落到纸面上手推一遍，只看不做等于没看。
实操建议：把“矩阵乘法对应的是线性变换”“损失函数的梯度指向的是下降最快的方向”这两句话，用自己的话写一遍，写在笔记里。这两句话想通了，后面很多算法你都能串起来。
3.2 编程落地：从NumPy开始，但不只NumPy
Python语法本身大概一周就能上手，核心在于熟悉数值计算编程的思维。在这个阶段，坚持**“每学一个算法，就用NumPy从零实现一遍”**。
写代码的基准要求是：不调用任何机器学习库（sklearn、PyTorch等），只用NumPy和原生Python。这样你会被迫去处理很多“按理说很简单”但其实很麻烦的事情，比如划分训练集/测试集、计算评估指标、做K折交叉验证。
这部分给我最大的收获是——手写代码能暴露出大量“以为懂了但实际不懂”的地方。以前用sklearn一个fit(x, y)就完事，自己实现后才发现要处理偏置项、特征归一化、梯度爆炸问题……这远比调包更能提升你对模型容错率、边界条件的感知。
3.3 经典算法复现：每个算法都从零搭建
逐一对线性回归、逻辑回归、决策树、SVM做从零实现，是打好地基的关键。做的时候注意——每个算法，至少实现“基础版本”和“带优化的版本”两稿。
比如决策树，先实现一个最简单的、不使用剪枝的分类树基本逻辑，再考虑如何用预剪枝、后剪枝来防过拟合。这个过程会帮助你真正理解决策树划分依据（信息增益、Gini系数）背后的直觉。
再比如线性回归，基础版本可以手写梯度下降；优化版本分别体验一下批量梯度下降、随机梯度下降和小批量梯度下降的收敛速度差异。这些对训练策略的体感建立，没办法只看书学来。
3.4 神经网络手写：反向传播是绕不过的关键一步
这个环节是整个项目里最硬核的部分——从零搭建一个能用的神经网络，自己把前向传播、损失计算、反向传播、参数更新的完整流程写出来。
刚开始写反向传播肯定会多次怀疑人生，因为梯度链式法则在代码里反着推的时候非常容易绕晕。我的经验是：找个最简单的例子（比如一个输入维度为2、隐藏层为4、输出为1的两层网络），把每一步矩阵的shape用注释标出来，跑一遍前向，再手推一遍反向，最后用数值梯度法去验证。
具体来说，验证梯度是否正确有一个简单有效的方法：f(x+h) - f(x-h) / 2h拿这个数值梯度和你的解析梯度做对比，如果误差在1e-5量级以内，说明推导没问题。每实现一个模块就先验证一次，不要等整个网络写完了再去Debug，那时候出错根本不知道该查哪里。
当你亲手写完前向和反向，看到损失值真的在一轮一轮下降、模型真的能拟合出数据规律的时候，那种打通任督二脉的感觉，值得一个“无与伦比”的评价。
4. 工具选型与工程实战的体会
4.1 “手写”和“框架”的边界在哪里
有人可能会问：既然最终工作里都要用框架，为什么还要花那么多时间手写？这个问题我在项目中期想过很多次，现在我可以明确回答：手写的目的是建立心智模型，框架的目的是提高生产效率。两者缺一不可。
“能够手写梯度下降”听起来在工作中好像没什么直接价值，毕竟没人会放着PyTorch不用，自己去写一个优化器。但当你用PyTorch训练模型遇到loss不下降、NaN、收敛慢的问题时，你心里会有几个排查方向（学习率是不是大了？梯度是不是爆炸了？数据是不是没归一化？），而只知道调API的人就只能干瞪眼。
所以实操中的正确姿势是：核心算法手写一遍，验证其正确性；常规操作全部使用框架完成，保证效率。比如你用NumPy手写了一个两层神经网络，然后把它放到PyTorch里用同样的数据、同样的超参数再训练一遍，对比结果一致，这个网络的精髓你就真的吃透了。
4.2 环境与依赖的工程化习惯
从零开始做AI工程，环境管理是第一次踩坑重灾区。我见过不少人在系统Python里乱装包，最后版本冲突到只能重装系统。养成两个好习惯能让你少走很多弯路：
一是使用虚拟环境。建议用conda或者venv给每个项目建独立环境，依赖写在requirements.txt里。这个习惯在工作后尤其重要——线上环境必须能复现你的本地环境，依赖锁版本是基本要求。
二是用Jupyter做探索、用脚本做工程。Jupyter适合数据探索、可视化、涂涂改改；但一旦进入“要反复运行、要自动化、要部署”的阶段，就立刻把代码迁移到.py脚本里，加上命令行参数、日志输出和异常处理。我见过很多人把Jupyter notebook当生产工具用，最后代码又臭又长还跑不出稳定结果，纯粹是工具选错了。
4.3 核心环节的实现记录：从训练到部署
举一个我近期走通的完整链路。我手写了一个两层神经网络（隐藏层64个神经元），在合成数据集上训练，然后再用PyTorch实现一模一样的结构，比较两者的准确率与收敛轨迹。数据用sklearn.datasets.make_moons生成，这是一个很经典的非线性可分数据集，非常适合验证神经网络的拟合能力。
在训练环节，对比感受最深的是学习率的影响。手写版我用了固定学习率0.1，跑到500轮准确率到0.85左右就上不去了；PyTorch版用了AdamW优化器加CosineAnnealing学习率调度，同样500轮能到0.92。这个差距不太是手写和框架的差距，更多是优化策略选择带来的差距。从那以后我对超参调优的重要性有了真实的体感，而不是只停留在概念层面。
部署环节，我用pickle把训练好的PyTorch模型参数存下来，然后用Flask写了个最简的HTTP推理服务：接收JSON格式的特征数据，完成预处理、模型推理、后处理，返回预测结果。加上简单的白名单校验和超时控制，完整代码不到100行。这一步走通后，脑子里对“训练环境”和“推理环境”的差异、离线模型和在线服务的区别，就有了实打实的概念。
5. 常见问题与避坑技巧实录
5.1 问题一：梯度计算总出错，怎么排查
这是手写神经网络时最折磨人的问题。我自己的排查顺序是：
- shape检查：每一步操作都打印中间变量的shape，矩阵乘法维度不匹配是最常见的错误。
- 数值梯度验证：用
(f(x+h)-f(x-h))/2h近似求梯度，和你的解析梯度对比。误差在1e-5内说明基本正确。 - 极小数据集测试：只用几个样本、一个极小的网络训练，如果loss能下降，说明整体逻辑没问题，再扩大规模。
注意：数值梯度验证只适合小网络，因为每算一次要跑两遍前向，大网络太慢。我建议单独写一个测试脚本，用随机数据验证每一层梯度。
5.2 问题二：损失函数不下降，卡住了怎么办
这也是新手最容易懵的场景。排查顺序：
- 先看数据：是不是没归一化？是不是标签有错？是不是类别极度不均衡？把数据可视化出来看一眼，很多时候问题一目了然。
- 再看损失计算：损失函数本身写对了没？交叉熵的类别索引有没有搞错？可以用一个预测值和真实值手算一遍核对。
- 然后看初始化：参数是不是全初始化为0了？对称性问题会导致所有神经元学到同样的特征，就没法继续下降。建议用随机初始化，比如He或Xavier初始化。
- 最后看学习率：学习率太大容易震荡发散，太小则几乎不动。从0.01开始调，用对数尺度搜索。
5.3 问题三：训练集效果很好，测试集一塌糊涂——过拟合怎么办
这个问题从经典机器学习到深度学习都会遇到，常规思路包括：增加数据量、降低模型复杂度（减少层数或神经元数）、加正则化（L2正则、Dropout）、做数据增强、早停。其中实践中最见效的是组合使用——把Dropout加在中间层，把输出层的L2系数调小一点，再结合早停，通常在多数任务上能比单用一种策略好不少。
5.4 避坑总结：这些坑我替你踩过了
- 不要用全部数据训练而不留验证集。我见过有人用全部数据训练然后用训练集评估，“准确率99%”，上线后一塌糊涂。留出至少10%-20%做验证集，线下评估永远要在没见过的数据上做。
- 不要在模型评估时泄漏数据。做过数据预处理再划分训练集，和先划分再预处理，结果可能完全不同。标准化时要只fit在训练集上，验证集/测试集用同样的参数transfrom，不能混在一起fit。
- 不要忽视超参数的可复现性。为了跑出结果，别忘了固定随机种子（
np.random.seed、torch.manual_seed），否则今天跑0.85、明天跑0.82，根本不知道改了什么导致的。
6. 后续扩展：从手写走向真实项目
整套从零搭建的路径走完之后，我个人感受最强烈的一点是：手写让你有深度，但真正让你在职场里“能打”的，是你在真实项目里摸爬滚打出来的广度。所以这个项目学完后，最忌讳的就是停下来说“我学完了”。
建议的进阶方向有三个。第一个是参与一个开源AI项目的开发，在真实代码库里看别人怎么组织数据管道、怎么设计模型接口、怎么做测试和部署，这比你自己闭门造车学到的工程化细节多得多。第二个是选择一个垂直领域（比如NLP或CV），把一个领域的主要问题类型吃透，比如NLP里文本分类、序列标注、文本生成背后的核心范式各不相同，能够拆解清楚才算入门。第三个是把模型部署和MLOps的工程能力补上——掌握Docker镜像打包、用云函数或Kubernetes部署推理服务、搭建模型监控看数据漂移，这些是算法工程师晋升到高级岗位的关键分水岭。
另外一个小建议：建议大家在学习过程中把每一段代码都放到自己的GitHub上，写好README。一方面方便自己复盘，另一方面找工作的时候这些就是你最硬核的作品集。我面试的时候收获的正反馈，基本都是围绕这类从零实现项目展开的。
我在重走这个项目时的体会是——AI工程这条路上没有让你“弯道超车”的捷径，但你走过的每一步都不会白走。那些亲手推过的公式、亲手调过的参数、亲手解决过的Bug，都会在未来某个关键时刻，变成你最扎实的底气。
