深度学习入门

文章目录

• • 一、什么是深度学习？
  • 二、神经网络基础
  • • 1. 神经元与权重
    • 2. 激活函数
  • 三、从感知器到多层感知器
  • • 1. 感知器（Perceptron）
    • 2. 多层感知器（MLP）
  • 四、神经网络的训练方法
  • • 1. 损失函数
    • 2. 梯度下降
    • 3. 反向传播（Backpropagation，BP）
  • 五、正则化与优化
  • • 1. 正则化惩罚
    • 2. 学习率与初始化

---

一、什么是深度学习？

深度学习（Deep Learning，DL）是机器学习（Machine Learning，ML）领域中的一个重要分支，它基于人工神经网络的结构，模拟人脑处理信息的方式，通过多层次的数据表征和学习机制，实现对复杂数据的高效建模与识别。深度学习在图像识别、语音处理、自然语言理解等领域表现卓越，已成为推动人工智能发展的核心力量。

---

二、神经网络基础

1. 神经元与权重

神经网络由大量相互连接的“神经元”组成。每个神经元接收来自其他神经元的输入信号，这些信号在传递过程中会乘以一个权重，表示该连接的重要性。

输入信号： x 1 , x 2 , … , x n \text{输入信号}：x_1, x_2, \dots, x_n输入信号：x1​,x2​,…,xn​
权重： w 1 , w 2 , … , w n \text{权重}：w_1, w_2, \dots, w_n权重：w1​,w2​,…,wn​
加权和： z = w 1 x 1 + w 2 x 2 + ⋯ + w n x n + b \text{加权和}：z = w_1x_1 + w_2x_2 + \dots + w_nx_n + b加权和：z=w1​x1​+w2​x2​+⋯+wn​xn​+b
其中b bb为偏置项。

2. 激活函数

为了引入非线性能力，神经网络在加权和后会通过一个激活函数，如 Sigmoid、ReLU 等：

σ ( z ) = 1 1 + e − z \sigma(z) = \frac{1}{1 + e^{-z}}σ(z)=1+e−z1​

---

三、从感知器到多层感知器

1. 感知器（Perceptron）

感知器是最简单的神经网络结构，仅包含输入层和输出层，可用于线性分类问题。其计算过程可表示为矩阵运算：

g ( W ⋅ x ) = z g(W \cdot x) = zg(W⋅x)=z

2. 多层感知器（MLP）

通过引入隐藏层，多层感知器能够处理非线性分类问题。隐藏层的神经元数量通常根据经验设定，可通过试验选择最佳结构。

关键点：

• 输入层节点数 = 特征维度
• 输出层节点数 = 目标维度
• 隐藏层节点数需通过实验调优

---

四、神经网络的训练方法

1. 损失函数

训练的目标是最小化预测值与真实值之间的误差，常用损失函数包括：

• 均方误差（MSE）
• 交叉熵损失（Cross-Entropy）
• 合页损失（Hinge Loss）

2. 梯度下降

通过计算损失函数对权重的偏导数（梯度），沿梯度反方向更新权重，逐步逼近最优解：

w new = w old − η ⋅ ∂ L ∂ w w_{\text{new}} = w_{\text{old}} - \eta \cdot \frac{\partial L}{\partial w}wnew​=wold​−η⋅∂w∂L​
其中η \etaη为学习率。

3. 反向传播（Backpropagation，BP）

反向传播是训练深度网络的核心算法：

1. 前向传播计算输出
2. 计算损失值
3. 反向传播误差，逐层更新权重
4. 重复迭代直至收敛

---

五、正则化与优化

1. 正则化惩罚

为防止过拟合，常对权重施加正则化约束：

• L1正则化：∑ ∣ w i ∣ \sum |w_i|∑∣wi​∣
• L2正则化：∑ w i 2 \sum w_i^2∑wi2​

2. 学习率与初始化

• 学习率过大易震荡，过小则收敛慢
• 权重初始值常采用随机初始化，避免对称性

---