简介：《Math for Deep Learning》2022 版 PDF 电子书面向希望补齐数学基础、深入理解神经网络原理的深度学习实践者与自学者，尤其适合能写 Python 但面对公式推导、梯度更新和模型评估时容易卡壳的读者。全书围绕线性代数、概率论与统计、微积分和优化算法展开，并把矩阵运算、噪声与评估、梯度下降等概念落到 CNN、RNN、LSTM 等模型的理解上，帮助读者建立从公式到网络结构的映射。包内共 1 个 PDF 文件，大小约 7.71MB，单文件结构便于在电脑或平板上直接检索、标注和通读；内容依据 2022 年出版版本整理，篇幅完整，适合按章节循序学习或作为案头查阅手册。已有 83 人学习，可作为深度学习数学入门的系统参考，也可配合代码实践反复回看关键推导。
1. 先破除一个误会：深度学习里的数学，不是考试题，是看懂黑匣子的说明书
不少零基础新手翻开一本深度学习数学书，第一反应是“完了，高数线代概率论全还给老师了”。其实这份资源想干的事没那么吓人：它不要求你会做证明题，而是让你在看到一段 Python 训练代码时，知道那些矩阵、梯度、损失值到底在干什么。深度学习本质上是“用数据调参数”：参数是矩阵，调参靠求导，评估靠统计，数学就是这套流程的说明书。适合的人很明确——会一点 Python、能跑通别人给的例子，但一改参数心里就没底、看论文公式直接跳过的人。接下来的内容不按教科书顺序推，而是按“你下一步该动哪一步”来排。
2. 为什么零基础也要补数学：三个翻车现场和一次短板体检
先别急着下载、也别急着从第一页读。入门阶段最怕的是“不知道为什么学”，读到第三章就泄气。这一章先让你看清楚：不补数学，具体会在哪些地方卡住；以及你该怎么判断自己缺的是哪一块，别一上来就把整本书从头啃到尾。
2.1 现场一：loss 不降，你只能靠玄学调参
这是新手最常见的一幕。模型跑起来了，训练日志里那个 loss 值在 2.31 附近上下乱跳，跑了两百轮还是不动。你去问人，得到的回答往往是“学习率调小一点”“加个归一化试试”“换个优化器”——听起来全是玄学。你照做了，有时候有效，有时候更糟，但你不知道为什么会这样。
一旦补上一点点微积分和梯度的概念，这件事立刻从玄学变成可推理的。训练的过程，本质是在一个高维曲面上找最低点：loss 是这个曲面的高度，梯度是当前位置最陡的下坡方向，学习率是你每步迈多大。迈太大，你会从山谷这头直接跨到那头，来回震荡；迈太小，你走一天还在半山腰。loss 不降，通常不是“模型不行”，而是这三件事里有一件出了问题。
你不需要会手推导数公式，但你要能看懂“梯度指向 loss 增长最快的方向，所以参数要往反方向更新”这句话。看懂这一句，你调参就从“试试看”变成“我知道我在改什么”。
2.2 现场二：抄来的 Python 代码，改个形状就报错
第二类翻车更直接。网上找了一段能跑的代码，你想把自己的数据塞进去，结果报错信息写着两个形状没法相乘，或者输出结果的维度跟你预期的不一样。你盯着那行代码看了半小时，每个字母都认识，就是不知道错在哪。
这类问题的根源几乎都在线性代数：矩阵乘法对形状有硬性要求，左边矩阵的列数必须等于右边矩阵的行数；而 Python 里有些运算符是“对应位置相乘”，根本不检查你这回事，它不报错，只是悄悄算出一个错的结果——这比报错更可怕。
入门阶段你至少要能回答：一个形状是 (32, 784) 的数组，乘上一个 (784, 10) 的矩阵，结果是什么形状？为什么是这个形状？这两个数字分别代表什么？能答上来，你面对绝大多数形状报错就不会慌，也知道该改哪一边。
2.3 现场三：论文第一行公式就卡住，往后再也读不进去
第三类卡点出现在你想往前走的时候。你找到一篇想读的文章，摘要看懂了，图也看懂了，但正文第一个公式里出现了带下标的求和、一个偏导符号、一个看起来像矩阵转置的角标，你的眼睛自动跳过去了。跳过一次没关系，跳过三次，你就再也不读公式了。
这不是数学能力问题，是符号不熟。深度学习论文里的公式，九成以上只用到四样东西：求和、偏导、矩阵乘法、期望。它们的写法固定、含义固定，见的次数够多就自然认得了。入门阶段的目标不是“会推导”，而是“看到符号不躲”。
2.4 给自己做一次短板体检：三个问题定方向
与其凭感觉判断“我数学很差”，不如用三个具体问题定位。拿张纸，不看资料，试着回答：
- 第一个：
a的形状是 (3, 4)，b的形状是 (4, 2)，a @ b的结果是什么形状？结果里第 2 行第 1 列那个数，是由哪几个数算出来的？ - 第二个：如果训练时学习率设得特别大，loss 曲线通常会长什么样？为什么？
- 第三个：
P(A|B)读作什么？它和P(A)的区别在哪？
三个都答得上来，说明你的底子够用，可以直接跳到动手部分，边做边补。只答得上第一个，优先补概率统计，因为后面的损失函数、评估指标、数据分布判断全靠它。三个都答不上来，也不用焦虑——这说明你需要的是从头建立直觉，而这份资源的编排恰好就是按“先直觉、再公式、最后落到代码”的顺序来的。
我第一次接触这些内容时，犯的错是从概率那一章开始硬读，读完合上书，脑子里只剩几个名词。后来改成“每读一个概念，立刻用三行 NumPy 验证一遍”，进度反而快了，因为抽象的东西一落到能打印出来的数字上，就不再虚了。
2.5 入门阶段该按什么顺序补：一条不容易走回头路的路线
书的目录顺序本身就是一个不错的路线：先备好工具，再概率、再统计、再线代、再微积分、最后到神经网络里的数据流、反向传播和梯度下降。但对零基础的人来说，完全照搬会有一个问题——前面几章全是概念，容易读疲。
我的建议是把它拆成两轮走。第一轮叫“建立直觉”：工具跑通、向量矩阵认全、概率和均值方差能算、导数知道是斜率。这一轮不追求严谨，只追求“看到不陌生”。第二轮叫“回到公式”：等你已经能用 Python 搭出一个最简单的模型，再回头把那些公式逐行对上看一遍，这时候每个符号都能对应到你代码里的某一行，理解速度完全不一样。
顺序上有一点要特别注意：微积分不要放在最前面。它是理解梯度下降的关键，但它也是最抽象的一块，没有前面矩阵和数据的铺垫，直接啃导数定义很容易劝退。先有数据形状的概念，再谈“对谁求导”，脑子会清楚很多。
3. 第一个例子别急着建模型：先把四个 Python 工具跑通
很多人以为学深度学习数学的第一步是买书、记笔记。不是。第一步是把环境装好，让屏幕上跳出一行你能看懂的输出。这一步只要成功一次，后面所有的抽象概念就都有了落脚点，因为你可以随时把它打印出来看。
3.1 装环境：为什么入门阶段只需要四个库
这份资源里用到的 Python 工具很集中：NumPy 负责数组和矩阵运算，SciPy 提供现成的统计分布和科学计算函数，Matplotlib 负责把数据画成图，Scikit-Learn 提供一些经典算法和数据集，方便你验证自己算得对不对。四个库覆盖了“算、查、看、验”四件事，不需要更多。
安装建议单独开一个虚拟环境，别往系统 Python 里直接装。这样以后版本冲突时，删掉环境重来就行，不用重装整个 Python——这是省后悔药的做法。
# 创建并激活一个独立环境，避免污染系统 Python python -m venv dlmath # Windows 用 dlmath\Scripts\activate，macOS / Linux 用下面这行 source dlmath/bin/activate # 一次装齐四个库 pip install numpy scipy matplotlib scikit-learn # 验证是否装好，能打印出版本号就说明成功 python -c "import numpy, scipy, matplotlib, sklearn; print(numpy.__version__)"最后一行命令是关键：它不只是检查，还顺便验证了 Python 能不能找到这些库。如果这一步报“找不到模块”，九成是因为你在装库时激活了环境、运行时又换了终端窗口，环境没带上。解决办法很简单，重新执行一次激活命令再跑。
3.2 用 NumPy 造出第一个数组，把 shape 和 dtype 摸熟
装好之后，第一个要跑通的对象不是模型，是数组。深度学习里所有的数据、参数、中间结果，在 Python 里都是数组。你对数组的两个属性越熟，后面看报错就越轻松：shape是形状，dtype是元素类型。
import numpy as np # 手动指定，造一个 2 行 3 列的数组 a = np.array([[1, 2, 3], [4, 5, 6]]) print(a.shape) # (2, 3)：2 行 3 列 print(a.dtype) # int64 或 int32：元素是整数 # 常用的两个"填充"函数，参数是形状 z = np.zeros((3, 4)) # 3 行 4 列，全是 0，默认浮点 o = np.ones((2, 2)) # 2 行 2 列，全是 1 print(z.shape, o.shape) # 索引：第 0 行整行，以及第 1 行第 2 列那个数 print(a[0]) # [1 2 3] print(a[1, 2]) # 6跑完这段，你要建立三个直觉。第一，shape是一个元组，(2, 3)读作“2 行 3 列”，不是“2 列 3 行”，顺序别记反。第二，dtype决定精度和内存，整数数组做除法会得到浮点结果，混用类型时 NumPy 会自动向上转型，这也是很多“结果跟预期差一点点”问题的来源。第三，索引从 0 开始，a[1, 2]是第二行第三列，这个习惯要在一开始就养成。
3.3 用 Matplotlib 把数据画出来，先让眼睛看懂
数字看多了会麻木，图不会。入门阶段养成“先画一下”的习惯，能帮你避开大量误判——比如你以为数据是均匀分布的，画出来才发现挤在一侧；你以为两组数据差很多，画出来发现重叠严重。
import numpy as np import matplotlib.pyplot as plt # 造 500 个服从标准正态分布的随机数，固定种子保证结果可复现 rng = np.random.default_rng(42) data = rng.normal(loc=0, scale=1, size=500) plt.hist(data, bins=30) # 直方图：看数据集中在哪、有没有长尾 plt.title("500 random samples") plt.xlabel("value") plt.ylabel("count") plt.show() # 弹窗显示，没有图形界面时改用 plt.savefig("hist.png")default_rng(42)里的 42 是随机种子，作用是让每次运行得到同一批随机数。学数学的时候这点很重要：结果可复现，你才能判断“这次和上次不一样”到底是代码改了还是随机性导致的。bins=30是把取值范围切成 30 段，段数太少看不出细节，太多会全是锯齿，30 到 50 是入门时的舒适区。
跑完这一张图，你就有了一个可以反复用的调试手段：任何一组数字，先画直方图看分布，再画散点图看关系。这比盯着一堆输出强得多。
3.4 用 SciPy 和 Scikit-Learn 做一次最小验证
最后一步，让这两个库各干一件小事，你就知道它们的分工了。SciPy 用来查“理论值是多少”，Scikit-Learn 用来跑“一个能出结果的小模型”，两者配合，你可以随时验证自己的理解对不对。
import numpy as np from scipy import stats from sklearn.linear_model import LinearRegression # SciPy：算标准正态分布在 1.96 处的累积概率 p = stats.norm.cdf(1.96) print(round(p, 4)) # 约 0.975，这就是常用的 95% 置信区间那个数 # Scikit-Learn：造一组近似线性的数据，拟合一条直线 rng = np.random.default_rng(0) x = rng.uniform(0, 10, 50).reshape(-1, 1) # 变成 (50, 1) 的二维数组 y = 2.5 * x.ravel() + 3 + rng.normal(0, 1, 50) # 真实关系约等于 y = 2.5x + 3 model = LinearRegression().fit(x, y) print(round(model.coef_[0], 2), round(model.intercept_, 2)) # 应接近 2.5 和 3这里有两个细节值得记住。reshape(-1, 1)是把一维数组变成“50 行 1 列”，因为 Scikit-Learn 要求特征输入是二维的，-1表示这一维让 NumPy 自己推。ravel()是反过来压平成一维，因为y必须是标签序列。这一进一出看着琐碎，但它就是前面说的“形状问题”的最日常版本，你现在多打几遍，以后就少报几次错。
打印结果接近 2.5 和 3，说明整条链路通了：造数据、拟合、取参数。到这里你的环境已经可用，后面所有数学概念都能在这个基础上立刻验证，不用再折腾配置。
4. 线性代数入门：矩阵乘法到底在算什么
工具齐了，接下来进入第一块硬内容。选线性代数打头，不是因为它在书里排得靠前（实际上它排在中段），而是因为它最直观：每个概念都能立刻用 NumPy 跑出来看结果，不像概率那样容易绕进逻辑里。先拿下这块，你对“深度学习在算什么”会有一个具体的画面。
4.1 标量、向量、矩阵、张量：其实只是一层套一层
这四个词听着唬人，本质就是维度的层层叠加。标量是一个数，比如温度 25。向量是一列数，比如一个人的身高、体重、年龄三个特征，写成 (3,)。矩阵是一张表，比如 100 个人的 3 个特征，形状 (100, 3)。张量再往上加一维，比如 100 张 28×28 的灰度图，形状 (100, 28, 28)。
入门阶段你只要记牢一件事：深度学习里说的“维度”，指的是数组的形状里有几个数字，而不是数学课上说的空间维度。(100, 3) 是二维数组，(100, 28, 28) 是三维数组，仅此而已。很多新手被“高维张量”这个词吓住，其实它只是“形状元组更长”的意思。
在 NumPy 里它们没有本质区别，都是ndarray，区别只在shape。所以你不需要学四套语法，会用一套就行。
4.2 矩阵乘法为什么不是“对应位置相乘”
这是新手最容易翻车的一个点，值得单独讲。假设你有两个矩阵，A是 (2, 3)，B也是 (2, 3)。在 Python 里写A * B，它会把对应位置的数相乘，结果还是 (2, 3)，不报错。但如果你想要的是线性代数意义上的矩阵乘法，A * B给的是完全错误的答案，而且它不会提醒你。
真正的矩阵乘法规则是：左矩阵的列数必须等于右矩阵的行数，结果的形状是“左行数 × 右列数”，结果里第 i 行第 j 列的那个数，等于左矩阵第 i 行和右矩阵第 j 列对应相乘再求和。
举个例子，A是 (2, 3)，B是 (3, 2)，结果就是 (2, 2)。结果的第一行第一列，等于A的第一行三个数，分别乘B的第一列三个数，再加起来。这个“乘了再加”的动作，就是神经网络里一个神经元做的事：输入乘权重，求和，加偏置。你现在手算一遍，以后看到“全连接层”四个字就不会觉得神秘。
在 NumPy 里，矩阵乘法用@或np.matmul，*只做逐元素相乘。记住这条，能帮你避开一大类“不报错但结果全错”的问题。
4.3 用 NumPy 手算一遍矩阵乘法并验证
光看规则容易忘，跑一遍就记住了。下面这段代码做两件事：先用最笨的双重循环手算，再用@让 NumPy 算，最后比对两者是否一致。手算这一步别跳过，它决定了你是“背下规则”还是“真的懂了”。
import numpy as np A = np.array([[1, 2, 3], [4, 5, 6]]) # 形状 (2, 3) B = np.array([[1, 0], [0, 1], [1, 1]]) # 形状 (3, 2) # 手算版本：完全按照"行乘列求和"的定义来 result_manual = np.zeros((2, 2)) for i in range(2): # 遍历 A 的每一行 for j in range(2): # 遍历 B 的每一列 s = 0 for k in range(3): # 沿共同的那一维累加 s += A[i, k] * B[k, j] result_manual[i, j] = s # NumPy 版本：@ 就是矩阵乘法 result_numpy = A @ B print(result_manual) print(result_numpy) print(np.allclose(result_manual, result_numpy)) # True 表示两者一致三个循环的含义值得说清楚。最外层i走的是 A 的行，中间层j走的是 B 的列，最内层k走的正是“A 的列数 = B 的行数”那一条边。这条边的长度 3，就是相乘时被消耗掉的那一维——所以结果的形状是 (2, 2)，3 消失了。这个规律在深度学习里天天用：一个 (32, 784) 的输入乘一个 (784, 10) 的权重，784 被消耗，输出 (32, 10)，正好是 32 个样本在 10 个类别上的得分。
np.allclose而不是==，是因为浮点数运算有微小误差，直接比会偶尔判不相等。这个习惯在后面的梯度检查里还会用到。
4.4 转置、逆、范数、特征值：先知道它们解决什么问题
剩下的概念不用一次学透，先建立“它是干什么用的”这层认知就够了，用到时再回头补细节。
转置是把矩阵的行列互换，A.T的形状从 (2, 3) 变成 (3, 2)。它最常见的用途是凑形状——矩阵乘法要求列数等于行数，形状对不上时，转一下往往就通了。
逆矩阵相当于“除以一个矩阵”，只有方阵才可能有逆，而且不是每个方阵都有。它在解线性方程组和某些参数更新公式里出现，入门阶段知道有这回事即可。
范数是“向量的长度”。最常用的是 L2 范数，就是把各分量平方求和再开根号。它衡量的是“这个向量有多大”，在正则化、距离计算、判断梯度是否爆炸时都会用到。
特征值和特征向量回答的问题是：一个矩阵作用在一个向量上，什么时候方向不变、只是长度被拉伸？那个拉伸倍数就是特征值。它听起来抽象，但主成分分析（PCA）就是靠它找“数据变化最大的方向”，而 PCA 是做数据降维和可视化的常用手段。
这些概念现在混个脸熟就好。等你真正遇到“维度太多画不出来”“梯度大得离谱”这些问题时，再翻回来，会发现它们各自对应一个具体的麻烦。
5. 新手最容易踩的 5 个坑：现象、原因和解决
这一章是我认为最该先看的。下面五条，每一条都对应我见过或自己经历过的情况，顺序大致按踩到的概率排。看的时候对照一下，你现在正在哪一条里。
5.1 坑一：从第一页开始硬啃公式，三天后放弃
现象是：书翻开，从最前面的基础概念逐字读，读到第二天开始犯困，第三天书就合上了，过一周连看到哪都忘了。原因不是毅力问题，是缺锚点——纯符号在你脑子里没有挂钩的地方，读一遍留不下痕迹。
解决办法是换顺序：每读一个概念，立刻写三行 NumPy 把它算出来。读到“期望”，就用np.mean算一遍；读到“矩阵乘法”，就用 4.3 那段循环跑一遍。让每个符号都有一次“我亲手打印出它的值”的经历，记忆才立得住。
5.2 坑二：所有包装在全局环境里，版本一乱就重装 Python
现象是：前一天还能跑的代码，装了个别的库之后突然报导入错误，或者某个函数参数对不上。原因是所有依赖都装在同一套环境里，库与库之间互相要求不同版本，最后谁也满足不了。
解决是养成开虚拟环境的习惯，一个项目一个环境，装完把依赖记进requirements.txt。出问题时删掉环境重建，几分钟的事，不用动整个 Python 安装。这个习惯越早养越省事。
5.3 坑三：矩阵乘法写成*，不报错但结果全错
现象是：代码顺利跑完，形状也对得上，但结果跟预期差很远，怎么调参都没用。原因是*在 NumPy 里是逐元素相乘，它不检查线性代数的维度约束，所以错误被静默吞掉了。
解决办法是固定用@或np.matmul做矩阵乘法，只在明确需要“对应位置相乘”时才用*。另外养成一个习惯：写完乘法立刻print一下形状，形状对了再往下走。
5.4 坑四：只看不跑，以为自己懂了
现象是：读的时候频频点头，合上书自己写，一行都写不出来。原因是阅读带来的是“熟悉感”，不是“掌握”，两者差得很远。
解决办法很笨但有效：关掉资料，从空白文件重写一遍最小例子。写不出来就说明卡在哪，回去只看那一处。这个动作花的时间，比再读三遍都值。
5.5 坑五：跳过概率统计，直接冲反向传播
现象是：反向传播的公式每个字都认识，连起来读不懂；梯度下降的更新式里出现了期望符号，不知道那是什么。原因是这些内容默认你已经会用条件概率和期望，跳过去就会一直悬空。
解决办法是先补三节：条件概率、期望与方差、正态分布。不用深，能算能解释就行。补完之后再回来看反向传播，你会发现公式里那些符号突然都有了具体含义——它就是在算“每个参数对总误差的贡献有多大”，而这个贡献是用期望的形式表达的。
6. 下一步学什么：把概率、微积分和反向传播串成一条线
环境跑通、线代有了手感之后，接下来最怕的是“什么都想学，结果什么都没学完”。我的建议是只盯一条线走：概率统计打底，微积分接上，最后落到反向传播和梯度下降。这三段是连着的，缺一段就会在后面反复卡住。
具体推进可以按下面这个节奏，每一段都配一个能自己验证的小动作，达标了再往下走。
| 阶段 | 主要学什么 | 自己怎么验证学会了 |
|---|---|---|
| 第一段 | 概率基础、条件概率、贝叶斯、常见分布 | 能用 NumPy 模拟一万次随机试验，算出的频率和理论概率对得上 |
| 第二段 | 均值、方差、分位数、相关系数 | 拿到一组数据，能画出直方图和箱线图，说出它偏不偏、散不散 |
| 第三段 | 导数、偏导、链式法则、梯度 | 能解释学习率过大为什么震荡，能用代码算一个简单函数的极小值点 |
| 第四段 | 矩阵微积分、雅可比 | 看到公式里的矩阵求导符号不躲，知道它对应代码里的哪一步 |
| 第五段 | 神经网络的数据流、反向传播、梯度下降 | 能手算一个两层小网络的一次前向和一次反向，结果和框架跑出来的一致 |
第一段建议花的时间最多，因为概率的直觉最难靠死记获得。我最开始学的时候，看贝叶斯公式看了三遍还是糊，后来写了一段代码模拟“检测结果为阳性的人里到底有多少真的有问题”，跑完那一次，公式不用背就记住了。这种“先模拟、再看公式”的路子，对零基础特别友好。
第三段有个小技巧：别一上来就学多变量。先拿一个最简单的一元函数，自己写代码算出它每一点的斜率，画出来看看是不是跟函数曲线对得上。等你对“导数就是斜率”这件事有了画面感，再扩展到偏导，就不会觉得那是另一套东西。梯度也只是把各个方向的偏导排成一个向量，本质没变。
到第五段，你会遇到全书最集中的一块内容。这时候的正确姿势不是重读前面的章节，而是打开一份最小的两层网络代码，把前向传播的每一步和矩阵乘法的形状一一对照，把反向传播里每个梯度的形状和对应参数的形状对照。形状对得上，说明你理解对了；对不上，说明你某一步漏了转置或者搞错了维度。这个自查方法我用到现在都没换过。
最后说个我自己的教训。我刚开始学的时候，总想着“等我把数学学扎实了再动手写模型”，结果拖了很久，学的东西因为没有落地，忘得特别快。后来改成边写边学，每学一个概念就把它塞进一个能跑的小脚本里，进度反而快了，理解也扎实了。从那以后我每次遇到新概念，都强制走一遍“三行代码验证”，不管多简单都跑一下。数学这东西，看得懂和算得出来，中间隔着一整个太平洋。希望帮到你。
本文还有配套的精品资源，点击获取
