在强化学习里摸爬滚打几年后，会发现一个挺有意思的现象：真正在工程里落地的算法，翻来覆去其实就那么几个，PPO（Proximal Policy Optimization，近端策略优化）绝对算得上出场率最高的一位。从机器人控制到游戏AI，从推荐系统到量化交易，只要涉及连续决策问题，PPO几乎都是默认的基线方案。我甚至见过不少团队把PPO直接当"强化学习界的ResNet"来用——不是因为它花哨，而是因为它足够稳，超参数不敏感，训练起来不容易炸。
这篇东西不想重复那些"PPO是什么"的科普，而是想带着你把PPO从零推导一遍，再用PyTorch把关键代码逐行走通。特别是连续动作空间的实现，网上资料总是语焉不详，比如高斯策略的log_prob怎么算、tanh压缩后概率密度怎么修正、dual-clip PPO到底在解决什么问题，这些我都会掰开揉碎讲清楚。看完之后，你应该能脱离现成库，手写一个可用的PPO。
1. 内容整体设计与思路拆解
1.1 为什么是PPO：从策略梯度到TRPO的演进逻辑
要理解PPO，得先理解它解决了什么问题。强化学习的目标是最大化累积回报期望，用数学语言写就是 J(θ) = E[Σ γ^t r_t]，而策略梯度定理告诉我们，梯度可以写成 ∇J(θ) = E[∇log π(a|s) · A(s,a)] 的形式。这个式子的直觉非常简洁：如果某个动作带来的优势（Advantage）为正，就加大它的概率；如果为负，就减小概率。
但直接沿着这个梯度走会有一个隐患：步长不好控制。步长太小，学习慢得让人抓狂；步长太大，策略一次更新过头，直接掉进性能悬崖，训练曲线瞬间崩盘。一个自然的想法是给更新加一个"信任域"约束，让新旧策略的KL散度不超过某个阈值，这就是TRPO（Trust Region Policy Optimization）的思路。TRPO理论上很漂亮，但实际用起来要解共轭梯度、算Fisher信息矩阵，代码复杂度高得离谱，而且跟神经网络的反向传播框架配合得很别扭。
PPO的聪明之处在于，它把TRPO的硬约束换成了一个软惩罚：在目标函数里直接裁剪（clip）策略比率，强迫新旧策略偏离太远时梯度自动归零。这样一来，既保留了信任域的稳定性，又只用一个简单的max/min操作就实现了，完美嵌入标准反向传播流程。这就是PPO能成为工程首选的根本原因——它用最小的代码复杂度换来了TRPO级别的稳定性。
1.2 PPO在连续控制任务中的核心难点
连续动作空间和离散动作空间的最大区别在于：离散动作可以直接输出一个概率分布（softmax），而连续动作输出的是一个概率密度函数，并且需要从这个密度函数中采样。这意味着两件麻烦事：第一，网络输出的不是一个概率向量，而是一组分布参数（通常是均值和方差）；第二，计算某个动作的log_prob时，不能查表，必须用概率密度公式带进去算。
更麻烦的是，很多环境（比如MuJoCo、PyBullet里的机器人任务）对动作有边界限制，比如关节力矩不能超过某个范围。如果直接让网络输出无界的动作再硬裁剪（clip）到边界，会导致概率密度计算失真——你在边界处截断了分布，但log_prob还是按截断前的密度算的，梯度方向就错了。所以连续动作PPO的标准做法是：让网络输出一个无界的高斯分布，采样后用tanh压缩到[-1, 1]区间，再计算压缩后分布的真实log_prob，这里面牵涉到Jacobian行列式的修正。
后面讲实现的时候，这个tanh squash的细节是重点中的重点，也是很多开源代码里最容易写错的地方。
2. 从策略梯度到PPO的数学推导
2.1 策略梯度定理与REINFORCE的局限性
我们先从最朴素的REINFORCE算法说起。它的梯度估计是直接采样求平均： ∇J(θ) ≈ (1/N) Σ ∇log π(a_i|s_i) · G_i，其中G_i是从当前时刻到结束的累积折扣回报。这个估计是无偏的，但方差极大——打个比方，就像蒙着眼睛在悬崖边走路，每一步的方向大体正确，但步子忽大忽小，随时可能踩空。
问题出在G_i包含了很多与当前动作无关的噪声。比如一个动作明明很好，但因为后续几步运气差导致回报很低，这个动作就被错误地"惩罚"了。为了降低方差，最有效的改进是引入基线（baseline），把回报换成优势函数 A(s,a) = Q(s,a) - V(s)，用"这个动作比平均好多少"来代替绝对回报。这就是Actor-Critic架构的由来：用一个Critic网络估计V(s)，作为baseline，从而把策略梯度变成 E[∇log π(a|s) · A(s,a)]。
但REINFORCE家族还有一个致命问题：它是on-policy的，每次更新完策略后，之前采的数据就作废了，必须重新采样。这意味着样本效率极低，一个step的数据只能用一次。PPO的一个重要改进恰恰是在这里——通过重要性采样，让旧数据可以被重复利用多次。
2.2 重要性采样：让旧数据焕发新生
重要性采样是PPO能够"off-policy"地复用旧数据的关键数学工具。核心思想很简单：如果我们想计算在新策略π_θ下某个函数的期望，但手里只有从旧策略π_old采的样本，可以通过乘以一个比率来修正分布偏差：
E_{a~π_θ}[f(a)] = E_{a~π_old}[ (π_θ(a) / π_old(a)) · f(a) ]
在这个公式里，π_θ(a) / π_old(a) 就是策略比率（ratio），记作 r_t(θ)。当新旧策略完全一致时，r_t(θ)=1；差距越大，r_t(θ)偏离1越远。PPO的目标函数就是在这个比率上做文章的。
直观理解的话，重要性采样相当于给旧数据"重新称重"：如果新策略更倾向做某个动作，就把这个动作对应样本的权重调高；反之调低。在实现上，我们每次采样时会把轨迹数据存下来，包括每个状态下的动作概率log_prob_old、价值估计等，更新时用新的网络重新前向计算log_prob_new，然后 r = exp(log_prob_new - log_prob_old) 就得到比率。这个操作成本极低，但让数据利用率翻了几倍。
2.3 TRPO的目标函数与约束条件
TRPO的数学形式是：
maximize E[ r_t(θ) · A_t ] subject to KL[π_old(·|s), π_θ(·|s)] ≤ δ
也就是说，TRPO想最大化带重要性比率的优势期望，但要求新旧策略在每个状态上的KL散度平均不超过阈值δ。这个约束保证了每次更新都在一个"信任域"内，策略不会突变。
理论上TRPO甚至能保证单调改进，但实际工程中有几个硬伤。第一，KL散度的约束在神经网络参数空间里是非线性的，直接求解需要二阶优化，计算Fisher信息矩阵及其逆矩阵的开销巨大；第二，共轭梯度法虽然避免了显式求逆，但实现复杂，而且跟mini-batch随机梯度下降的配合很别扭，每次更新都要做一次线搜索，代码量至少是PPO的三倍。
我在早期项目里试过实现TRPO，印象最深的是调试线搜索和阻尼系数时的崩溃感——参数稍微没调好，KL约束就形同虚设。这也是后来PPO出来后大家迅速转向的核心原因：它用一阶方法做出了接近二阶方法的效果。
2.4 PPO的核心创新：裁剪目标函数
PPO的思想是"既然硬约束难做，那就把约束软化到目标函数里"。它定义一个裁剪后的目标：
L^CLIP(θ) = E[ min( r_t(θ) · A_t, clip(r_t(θ), 1-ε, 1+ε) · A_t ) ]
其中ε是裁剪范围，标准取0.2。这个式子的行为要分两种情况看：
当A_t > 0时，我们希望增大这个动作的概率，但如果r_t已经超过1+ε，说明新策略对当前动作的倾向度已经远高于旧策略了，继续增大意义不大，所以把目标函数封顶在(1+ε)·A_t，梯度变成0，不再鼓励继续膨胀。当A_t < 0时，我们希望减小这个动作的概率，但如果r_t已经低于1-ε，说明新策略已经在使劲避免这个动作了，同样封底在(1-ε)·A_t，不鼓励继续压缩。
这个机制的本质是：在正优势时限制贪婪，在负优势时限制逃避，从而保证新旧策略的ratio始终被限制在[1-ε, 1+ε]附近，等价于一个隐式的KL约束，但实现极其简单。还有一个容易被忽视的细节：clip后取min，意味着最终的目标函数是未裁剪目标的"下界"，优化这个下界可以确保——即使裁剪生效导致梯度奇怪，真实的目标函数也不会变得更差。这个"保守下界"的思想在策略优化里非常重要，dual-clip PPO也沿用了这个思路。
2.5 GAE：优势估计的关键工程组件
虽然PPO的目标函数解决了策略更新的问题，但还有一个配套组件至关重要：优势函数A_t怎么估计。实践中几乎清一色用GAE（Generalized Advantage Estimation），它的公式是：
A_t = Σ (γλ)^l · δ_{t+l}，其中 δ_t = r_t + γV(s_{t+1}) - V(s_t)
GAE里面有两个参数：折扣因子γ控制远见程度，λ控制偏差-方差权衡。λ=0时GAE退化成一步TD误差，方差低但偏差大；λ=1时等于蒙特卡洛回报减去baseline，无偏但方差极大。一般取γ=0.99，λ=0.95，这是经过大量实践检验的稳健组合。
实现GAE有一个经典的倒序递推技巧：先计算出所有时刻的TD误差δ_t，然后从后往前递推 A_t = δ_t + γλ·A_{t+1}。这个递推式写法很简洁，而且可以直接向量化，不会引入for循环的性能瓶颈。很多初次接触的人会误以为GAE需要算整个轨迹的蒙特卡洛回报，其实利用递推关系完全不需要。
3. 连续动作空间下的PPO实现细节
3.1 高斯策略网络：让模型输出分布参数
连续动作的Actor网络不能直接输出动作，而是输出高斯分布的参数。具体来说，状态 s 经过几层MLP后，输出一个均值向量 μ(s)，同时还有一个对数标准差 log_std（通常不依赖状态，作为可学习参数，在某些复杂任务里也可以让log_std也依赖状态，但实验表明固定std往往更稳）。
这里有个经验之谈：log_std初始化的值很敏感。如果初始化为0，相当于初始标准差为1，动作探索幅度很大，可能一开始就乱撞；初始化为-1或-2，标准差大约0.37或0.14，探索更保守。我在很多任务上的经验是初始化为-0.5到-1之间比较稳，训练后期如果发现探索不足再微调。注意，log_std必须是可训练的，让算法自己在训练过程中调整探索幅度，否则策略会过早确定性化。
采样动作时，先从标准正态分布 N(0, 1) 采样一个噪声向量 z，然后通过重参数化技巧得到无界动作：a_unclipped = μ(s) + σ·z，其中σ = exp(log_std)。这个"先采样噪声再线性变换"的做法叫重参数化，好处是梯度可以通过采样节点回传，让策略可以直接对输出分布参数求梯度。这是PPO能在连续控制上work的基础，因为我们需要对策略参数求导，而采样过程本身不可导。
3.2 动作的对数概率log_prob的计算
采样得到动作后，训练时需要计算这个动作在策略分布下的对数概率 log π(a|s)。对于多维高斯分布，如果协方差矩阵是对角的（实践中都是假设对角），那动作的每一维独立，联合对数概率等于各维之和：
log π(a|s) = -0.5 Σ [ ((a_i - μ_i) / σ_i)^2 + log(2πσ_i^2) ]
实现时有个小技巧：先算负对数，再取负。用PyTorch写的话：
def log_prob_gaussian(mu, log_std, action): std = torch.exp(log_std) var = std ** 2 log_prob = -0.5 * (((action - mu) ** 2) / var + 2 * log_std + math.log(2 * math.pi)) return log_prob.sum(dim=-1, keepdim=True)注意这里的维度处理非常关键。网络输出的mu形状是 [batch_size, action_dim]，log_std一般是 [action_dim]，为了广播正确，最后在最后一维求和，保留一个 [batch_size, 1] 的列向量做loss计算。很多跑不通的代码问题就出在这一步的维度对齐上，要么忘了keepdim，要么忘了在最后一维求和。
3.3 tanh压缩与Jacobian修正：最容易踩的坑
如果环境要求动作在[-1, 1]范围内，那么直接用一个无界高斯采样再clip是不对的。比如一个无界高斯采出的动作是2.5，clip到1.0，但我们计算log_prob时如果还是代入2.5的密度值，就相当于把"超出边界的概率质量"整个忽略了，梯度方向会偏向把动作推向边界内部，导致边界附近分布失真，训练出来的策略在边界附近会出现诡异的震荡。
正确做法是：采样无界动作 a_unclipped，通过 tanh 映射到有界区间 a = tanh(a_unclipped)，然后log_prob必须加上一个Jacobian修正项。原理是概率密度变换公式：如果 y = f(x)，那么 p_y(y) = p_x(x) · |det(dx/dy)|，对应到对数形式是 log p_y(y) = log p_x(x) - log|det(dy/dx)|。因为 d(tanh(x))/dx = 1 - tanh²(x)，所以修正项就是：
log_prob_corrected = log_prob_gaussian - Σ log(1 - tanh²(a_unclipped)) = log_prob_gaussian - Σ 2·(log 2 - log(exp(2·a_unclipped) + 1) - a_unclipped)
注意这里减法，因为我们要从x的密度变换到y的密度，需要乘以逆Jacobian行列式，取log后是减。为了防止数值溢出（当|a_unclipped|很大时，1 - tanh² 会下溢到0，log直接变 -inf），实际实现要写成数值稳定的形式：
def log_prob_after_squash(mu, log_std, action, a_unclipped): log_prob = log_prob_gaussian(mu, log_std, a_unclipped) # 数值稳定的 log(1 - tanh^2(x)) log_1_minus_tanh_sq = 2 * (math.log(2) - F.softplus(2 * a_unclipped) - a_unclipped) return log_prob - log_1_minus_tanh_sq.sum(dim=-1, keepdim=True)这个修正项如果不加，训练出的策略会明显存在"动作贴边"的问题，而且样本效率会大幅下降。网上很多PPO连续动作的教程代码都漏了这一项，但实际跑下来效果差别很大。
3.4 完整训练循环：采样、更新、梯度裁剪
一个标准的PPO训练循环分两大阶段：收集数据和更新策略。收集阶段让Actor在环境中跑若干个episode，存储 (state, action, reward, done, log_prob_old) 等数据，同时用GAE计算优势；更新阶段把buffer里的数据打乱，分成mini-batch，在每批上做多轮梯度下降。核心更新代码如下：
for epoch in range(ppo_epochs): for batch in get_mini_batches(buffer, batch_size): cur_log_prob, entropy = actor.evaluate(batch.state, batch.action) ratio = torch.exp(cur_log_prob - batch.log_prob_old) surr1 = ratio * batch.advantage surr2 = torch.clamp(ratio, 1.0 - clip_eps, 1.0 + clip_eps) * batch.advantage actor_loss = -torch.min(surr1, surr2).mean() value_pred = critic(batch.state) value_clip = batch.value_old + torch.clamp(value_pred - batch.value_old, -clip_eps, clip_eps) value_loss = 0.5 * torch.max(F.mse_loss(value_pred, batch.returns), F.mse_loss(value_clip, batch.returns)).mean() policy_entropy = entropy.mean() total_loss = actor_loss + 0.5 * value_loss - 0.01 * policy_entropy optimizer.zero_grad() total_loss.backward() torch.nn.utils.clip_grad_norm_(actor.parameters(), max_norm=0.5) torch.nn.utils.clip_grad_norm_(critic.parameters(), max_norm=0.5) optimizer.step()这里有几个细节要强调。第一，critic的loss也做了一个clip版本（value_clip），这是为了防止value网络更新过快导致优势估计震荡——虽然很多简化实现直接回归原始value loss也能跑，但加了clip后训练曲线会平滑很多。第二，熵正则项系数一般取0.01或0.005，太小容易过早收敛到局部最优，太大会让策略一直乱探索不收敛。第三，梯度裁剪max_norm=0.5是必须的，尤其是连续动作场景，偶尔会出现异常大梯度，不裁剪一次update就可能把网络参数炸飞。
4. dual-clip PPO进阶：当负优势遇上大比率
4.1 标准PPO在极端情况下的失效模式
标准PPO的L^CLIP在大多数场景表现良好，但有一种情况它会失效：当优势A_t为负且绝对值很大时，训练信号容易变得噪声巨大。原因在于，目标函数对负优势的处理是 min(r·A, clip(r)·A)，当A < 0时，min操作的是两个负数，实际取到的是两者中绝对值更小的那个（即更接近0的那个）。
如果不小心让r大于1且A为负，min的效果会把未裁剪项（r·A，绝对值更大）裁掉，保留裁剪项((1+ε)·A)，这是合理的；但反过来，如果旧策略恰好已经给了这个"坏动作"非常低的概率（r远小于1），未裁剪项r·A负数绝对值很小，裁剪项(1-ε)·A负数绝对值很大，min取到未裁剪项，这样策略对这个"坏动作"的概率更新力度就非常有限——这本来是保护性的。真正的问题出现在一个更罕见但灾难性的场景：如果环境存在稀疏奖励或噪声奖励，负优势的绝对值可能被严重高估，导致r因为数值问题变得异常大（比如新旧策略分布差异极大时，浮点误差让ratio爆炸），此时min取到裁剪项还能兜底，但标准PPO的兜底是双向的，它裁剪的是"更新幅度"，而不是"负优势对应的惩罚力度上限"。
更具体的问题场景是：某个状态下的动作明明只是略差，但由于Critic误差，被估计成一个巨大的负优势，标准PPO会让策略剧烈地远离这个动作，即使这个动作只是次优而不是灾难。这种"过度惩罚"在训练后期尤其危险，因为此时策略分布已经很集中，任何一个负优势样本都可能让策略发生突变。
4.2 dual-clip的修正机制与原理解读
dual-clip PPO的出发点正是解决上述问题。它在标准裁剪基础上，额外增加了一个针对负优势的下界裁剪。核心loss变为：
L^Dual = min( r·A, clip(r, 1-ε, 1+ε)·A, clip(r, 1-c, 1+c)·A )
其中c是一个比ε更宽松的阈值，比如c=3或5。当A为正时，第三个clip项通常不起作用，因为r在[1-ε, 1+ε]内时，前两项已经足够；当A为负时，第三个clip给了r一个更宽的下界（r不会低于1-c），超过这个下界后，目标函数就被彻底截断，也就是无论那个动作有多"不应该做"，策略的惩罚力度都被限制住了。
直觉上，这相当于给"负向更新"也加了一个信任域——标准PPO只限制了正向更新的上限（防止贪心膨胀），但没有限制负向更新的上限（防止过度惩罚）。dual-clip补上了这个对称性，让正负方向的更新都变得保守和稳健。
我在实际项目中用dual-clip的体会是：对奖励噪声较大的任务，它的训练曲线明显比标准PPO平滑，不会出现那种"突然掉崖又缓慢爬升"的锯齿状。但在奖励信号很干净的任务里，dual-clip并没有明显优势，反而因为多了个约束可能让收敛变慢一点点。所以它不是一个"全面升级"，而是一个有特定适用场景的变体。
4.3 dual-clip的PyTorch实现
实现dual-clip非常容易，在原来actor_loss的基础上加一行：
if dual_clip > 0: surr3 = torch.clamp(ratio, 1.0 - dual_clip, 1.0 + dual_clip) * batch.advantage actor_loss = -torch.min(torch.min(surr1, surr2), surr3).mean() else: actor_loss = -torch.min(surr1, surr2).mean()这个参数一般只在advantage为负时起作用，所以调试时可以先看训练中ration的分布，如果发现ratio频繁大幅偏离1，或者负优势对应的ratio尤其大，就可以打开dual-clip兜底。需要强调的是，c的取值不要太小，否则会过度限制策略对真正危险动作的回避能力。我在稀疏奖励任务上的经验是c=3到5比较合适。
5. 常见问题与排查技巧实录
5.1 训练不收敛：entropy collapse与探索退化
连续动作PPO最常见的问题就是训练刚开始一切正常，reward稳步上升，但跑了几十万步后突然原地踏步——原因是策略的标准差σ被优化得太小（entropy接近0），策略变成了一个近乎确定性的映射，彻底丧失了探索能力。此时无论怎么调学习率都没用。
排查和解决思路分几步。第一步，在日志里打印每个epoch的平均entropy，它的变化趋势应该是一个缓慢下降的过程，如果发现entropy断崖式下跌，说明探索退化。第二步，给entropy正则项的系数调大，从0.01试到0.05，让策略保持更长时间的随机性。第三步，直接限制std的下界，比如log_std的min值设为-2（对应σ≈0.14），防止方差被优化到接近0。第四步，如果任务本身需要精确控制，可以考虑使用Beta分布或者正态分布配合动作噪声注入，但大部分场景下前两步就够用了。
我踩过的一个具体坑是：在某个机器人控制任务里，一开始用固定的log_std = -1.0初始化，跑了20万步训练曲线一路飙升，然后突然变得平坦。打印entropy才发现，log_std已经学到了-4.5，策略几乎完全确定性了。把entropy系数从0.01改到0.03后，曲线又继续上升了，虽然最终收敛值略低，但过程稳定多了。
5.2 动作贴边与分布失真：tanh修正没做对
如果你发现训练出的策略总是倾向于输出接近[-1, 1]边界的动作，或者行为看起来"僵硬"，大概率是算log_prob时漏了tanh squash的Jacobian修正。这个问题很隐蔽，因为单看训练曲线也许还能正常上升，但动作分布明显有问题——集中在边界区域，且对噪声极其敏感。
排查方法是打印action的直方图统计：如果大量动作的绝对值集中在0.9以上，就基本可以确认分布失真了。修复就是加上3.3节里的 log_1_minus_tanh_sq 修正。另一个常见错误是把修正项的符号搞反，导致log_prob被过度补偿，表现为训练完全发散、loss变成NaN。记住，从无界x到有界y = tanh(x)的变换，密度变换是除以 |dy/dx|，取log是减去修正项，不是加。
5.3 数值不稳定：NaN与inf的处理策略
连续动作PPO里NaN的出现频率远高于离散动作。最常见来源有三个：GAE计算时reward或value出现极端值导致advantage爆炸；tanh修正时 log(1 - tanh²(x)) 下溢成-inf；以及学习率过大导致参数发散。
对症下药：第一，在训练循环里对reward做clip，比如clip到[-10, 10]；第二，advantage标准化是必须的（减均值除标准差），这一步能极大缓解数值问题；第三，log_prob计算统一用数值稳定的版本，不要直接算log(1 - tanh²(x))；第四，把梯度裁剪max_norm设小一点，0.5是很保守的选择。如果以上都做了还是出NaN，把log_std初始化调低到-2，缩小初始探索范围，往往能绕过去。
5.4 超参数选择速查表
PPO的超参数相互耦合，没有万能组合，但按下面的表作为起点基本不会翻车：
| 超参数 | 建议初值 | 调优方向 |
|---|---|---|
| clip_epsilon | 0.2 | 增大让更新更激进，减小更保守 |
| GAE lambda | 0.95 | 增大减少偏差，减小减少方差 |
| discount gamma | 0.99 | 短任务可降到0.95 |
| ppo_epochs | 10 | 增大提升样本利用，但过大易过拟合 |
| mini_batch_size | 64/128 | 按总buffer大小调整 |
| actor学习率 | 3e-4 | 太大会发散，太小难收敛 |
| critic学习率 | 1e-3 | 一般比actor略高 |
| entropy系数 | 0.01 | 探索不足时调大 |
| log_std初始值 | -0.5到-1.5 | 探索不足调大，太随机调小 |
| 梯度裁剪max_norm | 0.5 | 出现NaN时调小 |
需要特别提醒的是：学习率往往比clip_epsilon更影响最终效果。很多人一上来就调clip，其实不如先试不同学习率。Adam优化器下，actor 3e-4和1e-3的效果差别可能非常大，我见过不少项目把LR从3e-4降到1e-4后，训练曲线从"疯狂抖动"变成"平稳上升"。
5.5 调试PPO的日志记录建议
最后分享一个非常实用的习惯：把调试信息结构化地打出来。我通常每个epoch记录这5个量：mean_return（平均回报）、mean_ratio（策略比率的均值，应该接近1，偏离说明更新过猛）、mean_entropy（策略熵，观察探索变化）、clip_fraction（被裁剪的样本比例，理想值是10%~20%，如果长期为0说明clip太松，长期超过30%说明clip太紧）、approx_kl（新旧策略的KL散度近似值，如果一次epoch内超过0.01就说明更新过猛）。
这套监控指标的妙处在于它可以帮你快速定位问题：reward不涨但entropy在掉，说明探索退化；clip_fraction长期为0但reward不涨，说明学习率太小或者优势估计有问题；approx_kl单次epoch内跳变，说明mini-batch里的数据分布不均或者GAE出现异常值。当这些指标都能正常解释时，PPO基本就在一个健康的状态下运行了。
