人工神经网络：激活函数、偏置作用及图像应用解析
1. 激活函数概述
在神经网络中，激活函数起着至关重要的作用。我们主要关注非线性且连续可微的激活函数。非线性激活函数能让神经网络学习任意非线性函数，前提是网络有足够的神经元和层。因为全是线性激活的前馈网络本质上只是一个线性函数，所以至少要有一个神经元使用非线性激活函数，才能使神经网络具有非线性特性。可微性也很重要，因为我们主要使用梯度下降法训练神经网络，虽然非梯度优化方法如遗传算法和粒子群优化可用于优化简单函数，但基于梯度的方法仍是训练神经网络最常用的方法。此外，理想的激活函数在原点附近应近似于恒等映射。神经元的激活公式为 (G (wx^T + b))，其中 (G) 是激活函数。通常，梯度下降法会将权重向量 (w) 和偏置 (b) 初始化为接近零的值，所以 (wx^T + b) 会接近零。若 (G) 在零附近近似恒等函数，其梯度近似等于输入，这有助于训练算法更快收敛。
2. 常见激活函数介绍
- Sigmoid 函数
- 公式：(G_{sigmoid}(x) = \frac{1}{1 + e^{-x}})，导数 (G’_{sigmoid}(x) = G (x)(1 - G (x)))。
- 特点：该函数 (G_{sigmoid}(x) : R \to [0, 1]) 平滑且处处可微，是受生物启发的激活函数，过去在前馈神经网络中非常流行。但它存在两个问题，一是在零附近不近似恒等函数，因为 (G_{sigmoid}(0)) 不接近零且 (G’_{sigmo
)
