1. 神经网络基础：从感知机到多层网络
在深度学习的发展历程中，神经网络经历了从简单到复杂的演变过程。本章将带您深入理解神经网络的基础构件，从最原始的感知机模型开始，逐步过渡到现代深度学习中广泛使用的多层网络结构。
关键提示：理解神经网络的核心在于掌握其如何通过非线性变换组合输入特征，这种能力使得神经网络能够逼近任意复杂函数。
1.1 感知机：神经网络的雏形
感知机（Perceptron）是Frank Rosenblatt在1957年提出的最早的人工神经元模型，它奠定了现代神经网络的基础。其数学表达式为：
f(x) = sign(w·x + b)其中：
- w为权重向量
- x为输入特征
- b为偏置项
- sign为符号函数（输出±1）
1.1.1 感知机的局限性
尽管感知机简单有效，但它存在一个致命缺陷：无法解决非线性可分问题。最经典的例子就是XOR问题：
| 输入1 | 输入2 | 输出 |
|---|---|---|
| 0 | 0 | 0 |
| 0 | 1 | 1 |
| 1 | 0 | 1 |
| 1 | 1 | 0 |
这个简单的逻辑运算无法用单个感知机实现，促使研究者开始探索更复杂的网络结构。
1.2 多层感知机（MLP）的突破
为解决感知机的局限性，多层感知机（Multilayer Perceptron, MLP）应运而生。MLP通过在输入层和输出层之间加入隐藏层，并引入非线性激活函数，获得了解决非线性问题的能力。
1.2.1 MLP的基本结构
典型的三层MLP结构如下：
输入层 → 隐藏层 → 输出层其中：
- 输入层：接收原始数据
- 隐藏层：进行特征变换（通常有多层）
- 输出层：产生最终预测
1.2.2 激活函数的关键作用
激活函数是神经网络获得非线性能力的核心。常用的激活函数包括：
ReLU（修正线性单元）：
def relu(x): return max(0, x)- 优点：计算简单，缓解梯度消失问题
- 缺点：可能导致神经元"死亡"
Sigmoid：
def sigmoid(x): return 1 / (1 + exp(-x))- 将输出压缩到(0,1)区间
- 常用于二分类问题的输出层
Tanh：
def tanh(x): return (exp(x) - exp(-x)) / (exp(x) + exp(-x))- 输出范围(-1,1)
- 比sigmoid更优的梯度特性
1.3 前向传播与反向传播
1.3.1 前向传播过程
以单隐藏层MLP为例，前向传播的数学表达为：
h = σ(W₁·x + b₁) y = W₂·h + b₂其中：
- σ表示激活函数
- W₁, b₁是隐藏层参数
- W₂, b₂是输出层参数
1.3.2 反向传播算法
反向传播（Backpropagation）是训练神经网络的核心算法，其关键步骤：
- 计算输出误差
- 通过链式法则逐层计算梯度
- 使用梯度下降更新参数
梯度计算示例（对权重W₁）：
∂L/∂W₁ = (∂L/∂y)·(∂y/∂h)·(∂h/∂W₁)1.4 实现细节与技巧
1.4.1 参数初始化
良好的初始化对训练至关重要：
- Xavier初始化：适合tanh/sigmoid
- He初始化：适合ReLU
# He初始化示例 W = np.random.randn(fan_in, fan_out) * np.sqrt(2/fan_in)1.4.2 批量归一化（BatchNorm）
解决内部协变量偏移问题：
x_hat = (x - μ) / √(σ² + ε) y = γ·x_hat + β1.4.3 正则化技术
防止过拟合的常用方法：
- L2正则化
- Dropout
- 早停法
1.5 实战示例：手写数字识别
使用PyTorch实现简单MLP：
import torch import torch.nn as nn class MLP(nn.Module): def __init__(self): super().__init__() self.layers = nn.Sequential( nn.Linear(784, 256), nn.ReLU(), nn.Linear(256, 10) ) def forward(self, x): return self.layers(x) # 训练循环示例 model = MLP() criterion = nn.CrossEntropyLoss() optimizer = torch.optim.Adam(model.parameters()) for epoch in range(10): for data, target in train_loader: optimizer.zero_grad() output = model(data) loss = criterion(output, target) loss.backward() optimizer.step()1.6 常见问题与解决方案
问题1：梯度消失/爆炸
- 解决方案：使用ReLU、残差连接、梯度裁剪
问题2：过拟合
- 解决方案：增加数据、使用Dropout、L2正则化
问题3：训练不稳定
- 解决方案：使用BatchNorm、调整学习率
经验分享：在实际项目中，建议先构建一个较简单的网络作为基线，然后逐步增加复杂度。使用学习率调度器（如ReduceLROnPlateau）往往能显著改善训练效果。
1.7 从MLP到现代神经网络
MLP虽然强大，但在处理图像、语音等数据时效率较低。这催生了更专业的网络结构：
- CNN：处理空间局部相关性
- RNN：处理时序数据
- Transformer：处理长距离依赖
理解MLP的工作原理是掌握这些高级网络的基础。在实际应用中，MLP仍然广泛用于：
- 结构化数据建模
- 推荐系统
- 作为复杂网络的组成部分
通过本章的学习，您应该已经掌握了神经网络的基础知识。建议通过修改网络结构、尝试不同激活函数等方式进行实验，这将帮助您更深入地理解这些概念。
