无限期强化学习中的线性规划与策略空间近似方法
在无限期动态规划（DP）问题的求解中，线性规划和策略空间近似是两种重要的方法，下面将详细介绍它们的原理、应用及相关问题。
精确与近似线性规划
在无限期DP问题的精确求解中，线性规划是一种有效的方法。对于α - 折扣问题，J* 是满足特定约束条件下的最大向量 J。具体来说，约束条件为：
[J(i) \leq \sum_{j=1}^{n} p_{ij}(u) [g(i, u, j) + \alpha J(j)]]
对于所有的 (i = 1, \ldots, n) 和 (u \in U(i))。
而 J(1), …, J(n) 则是以下线性规划问题的解：
[
\begin{align}
\maximize &\sum_{i=1}^{n} J(i) \
\mathrm{subject\ to} &\text{ 约束条件 (4.81)}
\end{align}
]
为了验证这一点，可以使用值迭代（VI）算法，从初始条件向量 (J_0 = [J(1), \ldots, J(n)]) 开始生成向量序列 (J_k = [J_k(1), \ldots, J_k(n)])，其中：
[J_0(i) \leq \min_{u \in U(i)} \sum_{j=1}^{n} p_{ij}(u) [g(i, u, j) + \alpha J_0(j)] = J_1(i)]
对于所有的 (i)。
通过这个不等式可以证明：
[J_0(i) \leq
