第6.3节 数值计算稳定性：浮点误差、病态条件与数值微分

第6.3节 数值计算稳定性：浮点误差、病态条件与数值微分

在人工智能算法的实现过程中，无论是训练深度神经网络还是求解大规模线性系统，最终都依赖于计算机的有限精度算术。这种有限性使得计算结果与理论真值之间存在不可避免的差异，这种差异统称为数值误差。数值计算稳定性的核心，正是研究这些误差的来源、传播规律以及如何设计算法来控制误差，确保计算结果的可靠性。本节将系统阐述构成数值计算稳定性基础的三大支柱：浮点误差、病态条件与数值微分。

6.3.1. 浮点误差：有限精度算术的本质局限

现代计算机普遍采用IEEE 754标准定义的浮点数系统FFF来近似表示实数。一个浮点数可表示为：
fl(x)=±m×βe−t fl(x) = \pm m \times \beta^{e-t}fl(x)=±m×βe−t
其中β\betaβ是基数（通常为2），ttt是精度位数，mmm是满足0≤m≤βt−10 \le m \le \beta^t - 10≤m≤βt−1的整数，eee是指数。任何不在FFF中的实数xxx都必须通过舍入（如四舍五入）映射为最近的浮点数fl(x)fl(x)fl(x)，从而引入舍入误差。

舍入误差的基本界限由机器精度ϵmach\epsilon_{mach}ϵmach​刻画，它表示111与大于111的最小浮点数之间的差。对于舍入到最近的标准，基本算术运算op∈{ +,−,×,/}\text{op} \in \{+, -, \times, /\}op∈{+,−,×,/}的相对误差满足：
fl(x op y)=(x op y)(1+δ),∣δ∣≤ϵmach fl(x \text{ op } y) = (x \text{ op } y)(1 + \delta), \quad |\delta| \le \epsilon_{mach}fl(x op y)=(x op y)(1+δ),