神经网络在有限时域动态规划中的应用与原理
1. 神经网络在有限时域动态规划中的初步应用
神经网络有多种不同类型，可用于模式识别、分类、图像和语音识别等各种任务。在有限时域动态规划（Finite Horizon DP）中，我们关注神经网络在近似最优成本 - 到 - 目标函数 $J^*_k$ 方面的作用。
为解决某些困难，可将 $\nabla^2f_i(\psi_{i,k})$ 近似为对角矩阵，并使用公式 (3.15) 或 (3.16) 递归更新 $D_{i,k}$ 的对角近似。具体而言，可将 $\nabla^2f_i(\psi_{i,k})$ 的非对角元素设为 0，此时迭代 (3.13) 变为增量梯度法的对角缩放版本，每次迭代的开销相当（假设所需的对角二阶导数易于计算或近似）。还可将对角元素乘以接近 1 的步长参数并加上一个小的正常数，以使其远离 0。这种方法通常易于实现，且在步长选择上无需太多实验。
在有限时域 DP 中，我们考虑典型阶段 $k$，为方便起见省略索引 $k$。我们采用参数化架构 $\tilde{J}(x, v, r)$，其形式为：
$\tilde{J}(x, v, r) = r’\varphi(x, v)$ (3.17)
该架构依赖于两个参数向量 $v$ 和 $r$。我们的目标是选择 $v$ 和 $r$，使 $\tilde{J}(x, v, r)$ 近似某个可采样的成本函数（可能存在一定误差）。具体过程是收集大量状态 - 成本对 $(x_s, \beta_s)$（$s = 1, \ldots, q$）组成训练集，并找到形式为 (3.17) 的函数 $\tilde{J}(x, v, r)$，使其在最小二乘意义上与训练集匹配，即 $(v, r)$
