1. 从一个"事后诸葛亮"的算法聊起：HER 要解决的痛点
做强化学习的人，几乎都绕不开同一个噩梦：智能体在环境里跑了上百万步，reward 始终是 0，网络参数纹丝不动，loss 曲线像条死人的心电图。你要是跑过 OpenAI Gym 里的 FetchReach 这类机械臂任务，一定见过这种场面——机械臂在空中乱挥，永远碰不到目标，所有 episode 都返回 -1，梯度回传过来的全是"没有用的绝望"。
这个现象有个正式名字，叫稀疏奖励问题（Sparse Reward Problem）。说白了就是环境只在极少数情况下才给你正反馈，绝大多数时间智能体无论做什么都拿不到任何指导信号。它不像 CartPole 那样每一步都有实时奖励，倒更像是让一个人在没有地图、没有路标的前提下，去一座陌生城市找一家连招牌都没有的小店。你走错了不会受罚，走对了也没人告诉你，那这个人大概率一辈子都在街上闲逛。
我当年第一次正面撞上这个问题，是在做机械臂抓取仿真实验的时候。任务很简单：让七轴机械臂把一个方块抓到目标位置。听起来不难对吧？但用普通的 DDPG 跑了 80 万步，成功率是 0%。我一度以为是代码写错了，逐行检查网络结构、奖励计算、维度匹配，折腾了一星期，结果发现问题根本不在代码，而在算法本身的探索逻辑。
就在这个节骨眼上，我读到了 OpenAI 在 2018 年发的那篇论文《Hindsight Experience Replay》，作者是 Andrychowicz 等人。这篇论文提出了一个非常反直觉的思路：既然智能体总是失败，那就干脆让它在失败中学习，把失败当作"另一种成功"来训练。
这个想法的本质，就是把人类身上最普通不过的一种能力——事后反思——搬进强化学习算法里。人做事失败了会复盘："我刚才那个动作虽然没达成原目标，但如果目标换一下，其实我已经做到了。" HER（Hindsight Experience Replay）干的事就是这个：重新标注目标（goal relabeling），把没实现的目标替换成实际达到的状态，把失败的轨迹变成带正奖励的成功轨迹。
这个思想看上去简单到令人怀疑，但它直接解决了强化学习里一个根源性的困境：样本利用率太低。在稀疏奖励环境下，绝大多数样本是"废样本"，因为奖励恒为负数，算法学不到任何有效信息。HER 的天才之处在于它把这些"废样本"重新加工成了"有效样本"，变废为宝，硬生生把样本利用率抬高了几个数量级。
这篇文章，我想把这个算法的来龙去脉、原理细节、实现要点和我在实操中踩过的坑，一五一十地讲清楚。不管你是刚入门强化学习的研究生，还是在工业界做机器人控制算法的工程师，这篇内容都可以帮你少走很多弯路。
2. 目标重标注：HER 的核心机制与直觉解释
2.1 把失败样本变成成功样本
要理解 HER，就得先理解它在强化学习训练流程里究竟改动了哪个环节。传统的 off-policy 算法（比如 DDPG、DQN）从经验池里采样（state, action, reward, next_state）四元组来更新网络。整个流程里，目标（goal）和奖励绑定在一起：你给智能体设定了一个目标，它没达成，奖励就是负的，这条样本放进池子里，下次采出来还是负的，网络反复被教育"你不行"。
HER 打破了这个绑定。它引入了一个额外的维度：把目标从样本里解耦出来。具体做法是，当一条 episode 结束时，如果智能体没能达成原始目标，算法就额外生成一组"事后目标"，用它替换掉原来的目标，然后重新计算奖励。因为新目标是智能体实际到达的状态，所以重新计算出的奖励是正的，直接对应"成功"。
我举个特别生活化的例子帮你建立直觉。假设你让一个孩子投篮，目标是投进篮筐。他投了十次都没投进，其中有几次球擦着篮板弹到了地面某个位置。你如果只盯着"投进篮筐"这个目标，这十次全是失败，没有任何可学的。但如果你换个思路，指着他球落地的那个位置说："你刚才的目标其实是把球投到这个位置，恭喜你，你成功了！"然后把"球落到这个位置"作为新的训练目标让他再练。这样一来，他每次出手都有机会获得正反馈，他就能逐渐学会控制手臂力度和方向。
这就是 HER 的关键直觉：智能体的行为本身包含了大量信息，即使它没有完成指定目标，它的行为也揭示了一条通往某个可达状态的有效轨迹。我们要做的，就是让算法承认这个"实际达成的状态"同样值得学习，然后在这个基础上继续优化。
从数学角度说，HER 适用于**目标条件化强化学习（Goal-Conditioned RL）**框架。在这个框架下，策略不再是只输入状态输出动作，而是输入状态和目标，输出动作。目标是额外的条件，策略 π(a|s, g) 会根据"我想去哪"来决定"我该怎么做"。HER 在训练时用的就是 π(a|s, g')，其中 g' 是事后重新标注的目标。
2.2 目标条件化强化学习与从零开始的经验积累
你可能会问：为什么要费这么大劲做目标条件化？直接在原始目标上训练不行吗？
我的回答是：原始目标如果只有一个，那智能体确实只有"成功"和"失败"两种结局，HER 能提供的信息量依然有限。但真实世界的任务几乎都有目标参数——抓取任务的目标是位置坐标，导航任务的目标是目的地坐标，炼丹任务的目标是特定温度范围。把目标变成输入条件之后，算法能在同一个策略网络上学会应对无数个不同的目标，这本质上是在学习一个通用的"控制规律"。
这个思想往前再推一步，就是后来的Universal Value Function Approximators（UVFA，通用价值函数逼近器）。UVFA 提出价值函数不只依赖于状态，还依赖于目标：V(s, g)。它的意义在于，你不需要为每个新目标重新训练一套价值网络，而是让一个网络同时学会"在不同目标下，各状态的价值高低"。HER 实践了这个框架，并把它落到了经验回放这个具体操作层面。
我在跑 HER 的时候，第一次真切感受到这个设计的威力，是在 FetchReach 环境里。这个任务要求机械臂把末端执行器移动到目标点，起始位置和目标位置都随机生成。刚开始训练，机械臂的末端执行器位置是乱的，几乎所有轨迹的终点都离目标十万八千里。但 HER 在后台默默地把这些"乱终点"标记成了新目标，然后网络开始在一个巨大的目标空间里逐步学会"从任意起点移动到任意终点"的能力。
训练到 20 万步左右，我发现成功率开始显著爬升。到 50 万步时，成功率已经稳定在 90% 以上。而同样的环境、同样的网络结构，不带 HER 的 DDPG 跑了 80 万步成功率依然是 0。这个对比有多么悬殊，我后面会给你看具体数字。
还有一个值得注意的细节：HER 不是在 episode 结束后重新生成一条样本，而是生成多条。因为一条轨迹上通常有几十到几百个状态，每个状态理论上都可以作为事后目标。实际操作中一般会从一条轨迹里抽 1～4 个"事后目标"来重标注，生成更多训练样本。这个策略直接决定了 HER 的数据增强强度。
2.3 四种目标采样策略怎么选
HER 论文里提出了四种事后目标采样策略，分别是final、future、episode、random。很多初学者直接忽略了这部分的差异，随手选一个策略就跑，但这里面的门道直接影响训练效果，值得好好讲清楚。
final：整条轨迹只选最终状态作为事后目标。样本量小，但目标分布比较稳定，适合目标空间不大、轨迹长度较短的任务。future：从当前时间步之后的某个状态里随机挑一个作为目标。这是论文重点推荐的策略，因为它在时间维度上创造了"预测未来"的训练压力，策略必须学会"接下来几步内到达某个状态"，而不是"最终到达某个状态"。episode：从同一 episode 的任意状态里随机挑目标，不管它在当前时间步之前还是之后。样本量最大，多样性最高，但训练信号会有些"松散"，因为有些目标可能已经错过了。random：从整个目标空间里随机采样目标。这个策略通常作为 baseline 出现，效果一般偏差，因为随机目标往往和当前轨迹关系不大，重标注后的奖励虽然可能为正，但学习方向太发散。
我的实测经验是，future策略在绝大多数连续控制任务里表现最稳定，论文里也推荐优先尝试。它兼顾了目标多样性和时序一致性。如果任务特别复杂、轨迹特别长，可以考虑episode策略来增加样本量，但要小心训练曲线会出现更多的震荡。
| 采样策略 | 目标来源 | 优点 | 适用场景 |
|---|---|---|---|
| final | 轨迹终点 | 稳定、计算量小 | 目标空间小、轨迹短 |
| future | 当前步之后的状态 | 时序合理、效果好 | 绝大多数连续控制任务 |
| episode | 同轨迹任意状态 | 样本多样性高 | 轨迹长、需要大量数据 |
| random | 整个目标空间 | 最简单、零开销 | 仅作 baseline 对比 |
3. 完整实操：基于 DDPG + HER 复现一个抓取任务
3.1 环境选择与建模
纸上谈兵讲了这么多原理，下面直接上实操。我用的是OpenAI Gym 的 FetchPickAndPlace 环境，这是一个模拟七自由度机械臂抓取方块并放到目标位置的经典基准任务，也是 HER 论文里最常用的验证环境之一。比起最简单的 FetchReach（只需要移动机械臂末端），FetchPickAndPlace 多了一个"抓取"动作，需要学习夹爪的开合控制，任务难度刚好合适，适合用来展示 HER 的真实效果。
这个环境的状态空间包含机械臂各个关节的角度、角速度、夹爪位置和物体位置，动作空间是四维连续动作（平移增量加夹爪开合）。最关键的是它的目标定义：一个三维坐标，表示方块需要被放置的位置。Reward 只有一个判断条件，如果方块中心与目标位置的距离小于 5 厘米，奖励 0，否则 -1。看到这个奖励设计你就明白了，这就是典型的稀疏奖励问题：任何一点"接近目标"的进步都不会获得额外奖励，你要么成功，要么失败。
跑这个环境之前，你要先理解一个关键概念：观测（observation）和目标（goal）要分离。在 HER 的标准实现里，观测中通常不包含目标坐标，目标作为单独的量传入策略和价值网络。这个分离在设计网络输入的时候特别重要，别一股脑把它们 concat 在一起就完事，后面我还会详细说。
我用的是 OpenAI 官方开源的 baselines 版本里的 HER 实现，它基于 TensorFlow。说实话这个版本已经有点老了，跑起来偶尔会有 API 兼容问题，但胜在逻辑清晰、可读性强，非常适合拿来学习和魔改。如果你不想折腾老代码，也可以直接在 RLlib 或者 Stable-Baselines3 的社区扩展里找 HER 实现，不过我建议第一次跑还是先用官方代码，因为论文里的所有超参数都是基于官方代码调的，复现性最好。
3.2 算法超参数怎么配置
我把我在 FetchPickAndPlace 上跑通的一组超参数列在下面，这组参数基本沿用了论文的设置，我自己做了很小幅度的调整（主要是调整了目标采样策略的 K 值）：
| 超参数 | 取值 | 说明 |
|---|---|---|
| 采样策略 | future | 论文推荐，实测最稳 |
| 事后目标数量 K | 4 | 每个状态额外生成 4 个目标 |
| Batch size | 256 | 批量大小，太小容易震荡 |
| 回放池容量 | 1e6 | 足够大才能容纳多样策略数据 |
| Actor 学习率 | 1e-3 | 论文里 DDPG 用的标准值 |
| Critic 学习率 | 1e-3 | 同上 |
| 折扣因子 γ | 0.98 | 控制长期回报权重 |
| 软更新系数 τ | 0.95 | 注意，官方代码里的 τ 含义是目标网络平滑系数 |
| 探索噪声 | 0.2 | 高斯噪声，用于探索 |
| 训练回合数 | 50 | 每回合进行 50 次梯度更新 |
| 总 timesteps | 2e6 | 训练总量 200 万步 |
| 网络结构 | 256×256 | 两层全连接，激活函数用 ReLU |
有几个参数的解释值得展开说。
第一，K = 4 表示每条轨迹的每个状态最多额外生成 4 个事后目标。K 值太大会导致目标分布过于"事后诸葛"——你强行让智能体学习很多它实际上从未试图达成的目标，反而会稀释原始目标的训练信号。K 值太小时信息增强效果不够。我试过 K=1，20 万步内成功率爬升明显变慢；K=8 时训练时间增加不少，但成功率并没有相应提高，所以 4 是一个很均衡的选择。
第二，软更新系数 τ = 0.95 可能会让你困惑。传统 DDPG 里 τ 是 0.001 或 0.005，用来缓慢更新目标网络。但在 OpenAI 的 HER 实现里，这个参数表示目标网络直接用在线网络的参数做软替换，公式是 target_params = τ * online_params + (1-τ) * current_target_params，τ 越接近 1 目标网络更新越快。我一开始没看代码就按 DDPG 的惯性思维去了 0.001，跑了半天发现 Critic loss 完全不下降，查了半天才发现是目标网络更新太慢，导致价值估计长期失真。
第三，每回合 50 次梯度更新这个设定也很关键。HER 生成了大量额外样本，如果不做多步更新，这些样本的利用率就打折扣。我在实验里对比了每回合 40 次和 80 次更新的区别，40 次收敛稍慢但结果接近，80 次训练耗时明显增加但成功率上限差不多。50 是官方默认值，稳妥。
3.3 训练过程与结果解读
配置完环境，我来说说训练过程到底长什么样。
刚开始跑的前 10 万步，成功率是 0。这是正常的，因为机械臂连怎么把夹爪移到方块附近都没学会。但注意，此时 Critic loss 已经开始下降了——这不是因为 reward 变好了，而是因为 HER 创造的那些"事后成功样本"让价值网络开始学习"哪些状态-动作组合能走到目标点"。换句话说，HER 的厉害之处在于：即使整个训练过程没有一个真实成功样本，价值网络依然有信号可学。
到 30 万步左右，成功率开始出现微弱的非零值，大概 2%～5%。这个阶段是质变的开始。你会发现机械臂的动作开始变得"有目的"了，不再像无头苍蝇一样乱挥。当成功率开始爬升的时候，训练曲线往往会进入一个快速上升期，因为每多一个真实成功样本就多了一条高质量的示范轨迹，HER 会把这些成功样本再次重标注后放大，形成一个正反馈。
到 100 万步左右，我这边成功率大概到了 60%～70%。继续训练到 200 万步，成功率稳定在 85%～95%，剩余的那几个百分点大多是初始条件下物体位置太靠近机械臂底座或边界，机械臂的初始构型本身就没办法完成抓取。
这里我要强调一点：HER 训练出的成功率并不代表"每次任务都能成功"，而是代表"在随机重置下，目标可达范围内的成功率"。在 FetchPickAndPlace 环境里，物体的初始位置和目标位置都有一定的随机范围，有些极端位置即使是训练好的策略也难以百分百成功。评估时你要在固定的随机种子下跑几百个 episode，取平均成功率，而不是跑几个 episode 就下结论。
再分享一个我自己调试时常用的评判方法：除了看成功率，还要同时盯着Episode 结束时末态到目标的平均距离。这个指标比成功率更平滑，能提前反映学习趋势。如果成功率还是 0，但平均距离在缓慢下降，说明策略正在往正确方向前进；如果平均距离也在原地踏步，那你得回头检查奖励函数或者网络结构，大概率有 bug。
4. 算法变体、局限性与替代方案
4.1 泛化到其他任务时有哪些要注意的地方
HER 不是一个只适用于机械臂抓取的奇技淫巧，它可以迁移到很多其他领域——导航、迷宫、机器人控制、甚至一些组合优化问题。但迁移不是无脑复制代码，有几个环节需要针对任务特性做改造。
首先也是最关键的，任务必须能写成目标条件化的形式。如果目标不可定义为一个状态向量，HER 就无从下手。比如下围棋就没有明确的目标状态向量，这类任务不适合 HER。反过来，凡是目标能被"期望到达的状态"描述的，HER 都能试试。
其次，要维护一个有效可用的状态表示。HER 的核心操作是"把某个状态当作新目标"，这意味着目标必须存在于状态空间里。如果你的任务里目标需要设计者人为指定而非从状态里提取，那 HER 的优势就打了折扣。最简单的做法是：确保状态向量里包含你关心的那些维度（比如物体坐标、机器人位姿），然后直接把这些维度的一个子集当作目标向量。
第三，要注意目标空间分布与初始状态分布的匹配。HER 之所以高效，恰恰因为训练时的目标采自真实轨迹，所以目标是"可达的"。如果目标空间太大，而初始策略又特别差，模型可能很久都学不会如何把目标映射到动作。这就意味着，HER 并不是在真空中工作，它依然需要一个基础的判别力——物体在哪、手在哪、距离有多远。
最后，HER 天然和 off-policy 算法搭配。它依赖经验回放池来反复训练这些"事后成功样本"。如果用在 on-policy 算法（比如 PPO）上，需要额外维护一个样本存储和重采样机制，实现复杂度会高不少。我知道有些工作尝试在 PPO 里引入类似 HER 的机制，但效果和效率通常不如 DDPG / SAC + HER 来得直接。
4.2 HER 的局限和它不能解决的问题
实事求是地说，虽然 HER 在很大程度上缓解了稀疏奖励问题，但它不是万能药，有几个先天局限我是亲身感受过的。
第一，它对"事后悔过"的依赖意味着它不能创造目标空间里不存在的信息。如果目标空间非常大，而策略又始终停留在目标空间的某个狭小区域内，HER 再怎么重标注，也只能在已有轨迹覆盖的区域内学习，没法凭空学会目标空间远端区域的控制方式。这其实就是"探索不足"问题，HER 本身并不会主动探索，它只是让已有的探索成果能被更高效地利用。
第二，真正的收敛速度依然受限于探索能力。你可以把 HER 想象成放大镜，它能把一点点微弱的探索信号放大，但如果放大镜前面什么都没有，它也无能为力。在需要精细操作、复杂时序决策的任务中，单靠随机探索加上 HER，还是可能陷入局部最优。这时候，往往要靠课程学习（curriculum learning）或者人工示范（demonstration）来引导探索方向，HER 再负责把这些引导充分利用起来。
第三，计算开销和存储开销显著增加。HER 加上目标重标注，会让经验回放池的样本量翻好几倍。每条真实轨迹都要额外生成多条"事后目标"轨迹，训练周期里每次采样都要重新计算奖励。虽然这些计算本身不贵，但如果任务复杂度高、每次更新需要好多轮回放，整体训练时间会明显拉长。在训练大模型或是物理仿真复杂的环境中，这个开销很难忽略。
我自己在项目里碰到过一个更实际的问题：HER 在 Fetch 这类目标空间离散且维度较低（比如 3 维坐标）的任务里效果非常好，但如果你把目标改成高维空间（比如整个机械臂的关节角度状态），目标重标注后的相关性会显著下降，策略学习会变得不稳定。所以，在目标设计时尽量保留"低维、语义清晰、直接可判读"的坐标形式，是让 HER 发挥最大效力的实践经验。
5. 训练中的常见问题与排查技巧实录
5.1 跑了很久成功率依旧为 0，怎么查
这是新手最容易碰到的噩梦：代码跑起来了，loss 也在变，但成功率是一根直线，死活不动。我把自己排查这类问题的顺序写出来，按这个顺序查，大概率能定位问题。
第一，检查奖励计算逻辑。先把 HER 关掉，只跑普通的 DDPG，故意设一个密集奖励（比如每步给负的距离差），看成功率能不能上升。如果连密集奖励都不涨，说明问题不在 HER，而在基础算法实现。
第二，检查重标注后的目标是否真的合理。我犯过一个特别隐蔽的错误：重标注目标时直接把观察值里的某个坐标丢进了目标变量，但忘记同步更新目标的条件空间维度，导致训练时目标向量和策略网络输入的维度对不上，训练过程处于"半瞎"状态。这种问题检查起来最麻烦，因为你输入输出什么都能算，但学的都是无效信息。我的经验是，在重标注之后打印几组样本，用肉眼看看目标和状态是否真的对齐了。
第三，观察分布变化。如果经验池里绝大多数都是"事后成功样本"而非真实成功样本，那 Critic 网络学到的价值函数会偏向"事后乐观"，导致 Actor 以为自己的动作很好了，实际在真实目标上却毫无进展。典型特征是 Critic loss 一直很低，但成功率不涨。解决办法是降低 K 值，或者提高真实成功样本在 Batch 中的比例。
第四，检查随机种子和探索噪声。HER 对探索噪声比较敏感。如果噪声太大，动作输出接近随机，失败轨迹的代表性变差；如果噪声太小，策略很快收敛到一个糟糕的确定性动作，探索不足。我做实验的时候把噪声方差从 0.2 调到了 0.1，成功率从 80% 掉到了 40%，可见噪声是一个性价比很高的调参项。
5.2 训练后期震荡与熵增问题
很多人在 HER 训练后期会遇到另一个经典问题：成功率已经涨到 80%，但突然掉到 60%，然后再涨回来，反复震荡。这个现象在强化学习里很常见，但在 HER 里有其特殊原因——随着策略不断提升，经验池里保存的样本分布和当前策略的分布差异越来越大。
我解决这个问题的核心思路是控制回放池的新旧样本比例。回放池容量调到 1e6 是我最初用的，实际运行下来发现容量太大反而容易让策略受陈旧样本干扰。后来我把容量改小到 5e5，并提高每次更新时新鲜样本的采样比例（比如采样时 30% 用最近一万步的样本），训练曲线明显平稳了很多。
还有一个排查点：有些 HER 实现版本的重标注逻辑存在目标泄漏问题。代码实现里不小心让重标注目标使用了未来信息，导致训练时价值函数"开了天眼"，学到的是不可能的控制策略。在测试阶段这种目标泄漏不会被发现，因为测试时没有未来信息，策略自然会表现不佳。这个问题的排查办法也很直接：把重标注前的轨迹数据重新按时间顺序打印出来，手动检查每个时间步的观测里是否包含了未来才能知道的信息。
| 现象 | 可能原因 | 排查手段 |
|---|---|---|
| 成功率从 0 涨但极慢 | K 值太小、学习率太低 | 增大 K 到 4～8，调学习率 |
| 成功率完全不涨 | 奖励计算逻辑有误 | 先跑密集奖励验证 |
| 训练后期震荡 | 回放池新旧样本失衡 | 缩小池容量、提高新样本比例 |
| 训练时好、测试时崩 | 目标泄漏 | 打印轨迹逐帧检查 |
| Critic loss 很低但策略不动 | 事后样本过度主导 | 降低 K、增加真实样本比例 |
5.3 我的几点私家经验
最后分享几个我从大量调参里沉淀下来的实操习惯，不一定写在论文里，但对结果影响非常直接。
第一，训练前先小规模跑通。我用脚本先跑 10 万步快速验证 pipeline 是否通畅，顺手把成功率初始值记录下来。如果 10 万步内成功率竟然涨到了 20% 以上，那大概率是任务太简单或者目标泄漏了。这个"反直觉验证"帮我排除过好几次 bug。
第二，保存中间模型并定期测试。HER 的优点之一是对 offline 样本的利用率高，早期模型虽然成功率低，但学到的一些动作技巧可能在后期依然有用。我做实验时每 10 万步保存一次模型，最后发现 80 万步时的一个模型在后期任务变种上表现甚至比最终模型更好——这种现象在稀疏奖励任务里并不罕见。
第三，记录每个阶段的平均末态距离。我不仅记录成功率，还额外记录每条 episode 结束时候物体位置到目标的平均欧氏距离。因为稀疏奖励的成功率是 0/1 信号，非常不响应微小改进，而距离信号是连续值，能在训练早期就反馈出策略是否在朝着正确方向缓慢移动。我见过很多人在成功率还停在 0 的阶段就开始调参，实际上这时候距离曲线已经在下降了，只需再耐心等等就能等到成功率的突破。
6. 写在最后的体会
如果你问我，学了这么多强化学习算法，哪个让我觉得"原来还能这么玩"，HER 绝对排第一。它没有复杂的数学推导，也没有精巧的网络结构，就是一个朴素到近乎天真的事后诸葛亮逻辑，却把强化学习里最头疼的稀疏奖励问题撕开了一道大口子。我至今仍然记得第一次看到成功率曲线从 0 突然跳升到 90% 时的震撼，那一刻我一整天都在念叨"这也行？"。
这个算法的出现也让我重新审视了"失败样本"在教育与训练中的价值。我们做强化学习，太习惯于盯着奖励函数，总想着怎么设计更精细的奖励来引导智能体，却忘了失败本身也是一种宝贵的经验。HER 教会我的，不是怎么让智能体不失败，而是怎么让它从每一次失败里都学到点东西。
现在我自己的习惯是，但凡遇到稀疏奖励任务，我会先去想一个问题：这个任务里，有没有一个自然的"事后目标"可以用？如果有，那就直接给算法加上这个能力。如果任务本身目标过于抽象、没法定义成状态向量，我也会尽量去找一个相关的低维代理状态，作为 HER 的落脚点。这个底层思路，其实比 HER 这个具体算法本身更值得记住——机会就在你已经走过的路里，只是需要一个回头的动作。
