《无限期强化学习方法与证明解析》
1. 策略空间近似方法
策略空间近似方法主要包含交叉熵方法和专家监督训练两种方式。
1.1 交叉熵方法
交叉熵方法是一种简单且有效的策略优化方法。在当前迭代点 $r_k$ 处，构建一个以 $r_k$ 为中心的椭球 $E_k$。在 $E_k$ 内生成多个随机样本，然后“接受”其中成本“较低”的样本子集。接着，选择 $r_{k + 1}$ 作为接受样本的样本均值，并构建接受样本的样本“协方差”矩阵。最后，使用该矩阵和合适的半径参数形成新的椭球 $E_{k + 1}$，并继续迭代。
该方法与策略梯度方法有相似之处，都是朝着成本改善的方向从 $r_k$ 移动到 $r_{k + 1}$。随机样本生成过程受成本改善的引导，这一思想与进化编程共享。
交叉熵方法的优点包括：实现简单，不依赖基于梯度的优化方法的脆弱性，不涉及随机策略，且有一定的理论支持。然而，像所有随机搜索方法一样，其收敛速度保证有限，成功与否取决于特定领域的见解和启发式方法的熟练使用。不过，该方法非常适合并行计算，并且通过一些令人印象深刻的成功案例获得了良好的声誉，例如用于学习俄罗斯方块游戏中的高分策略。
其流程如下：
1. 在当前迭代点 $r_k$ 构建椭球 $E_k$。
2. 在 $E_k$ 内生成随机样本。
3. 选择成本“较低”的样本子集。
4. 计算接受样本的均值作为 $r_{k + 1}$。
5. 构建接受样本的协方差矩阵。
6. 形成新的椭球 $E_{k + 1}$。
7. 重复步骤 2 - 6。
