hindsight 在英文里直译是"后见之明"，说难听点就是事后诸葛亮。但在强化学习这个圈子里，这个词有一个完全不同的含义——它同时是一篇经典论文的名字，也是一种极其实用的训练思路。我第一次见识到它的威力，是在 OpenAI 的 FetchPush 机器人推箱子环境上。当时我写了一个稀疏奖励的目标条件任务：只有物体被推到目标位置才给 0 奖励，其余每一步都是 -1。普通 DDPG 跑了 100 万步，成功率纹丝不动，我一度怀疑是 MuJoCo 环境装错了。后来把训练管线切换成 Hindsight Experience Replay（HER），同一个环境、差不多的超参，几十万步后成功率直接冲到接近满分。这篇文章想把这个算法从原理到实现完整拆一遍，再把我在实际调参中踩过的坑整理出来，适合正在做机器人操作、多目标强化学习，或者被稀疏奖励折磨的同行参考。
1. Hindsight 到底解决了什么问题：稀疏奖励下的目标条件任务
1.1 目标条件化任务为什么这么难学
先定义一下场景。目标条件化强化学习里，智能体在每个时间步看到两部分信息：当前状态 s，以及外部给定的目标 g。它要学一个条件策略 π(a|s,g)，让最终状态满足 g。奖励通常设计成稀疏形式：如果当前状态离目标足够近，奖励为 0；否则奖励为 -1。换句话说，智能体要尽量减少达成目标所需的步数，训练目标就是最大化折扣累计奖励。
这类设定在机器人操纵任务里非常常见。FetchPush 的任务是让机械臂把桌上的物体推到指定坐标，FetchPickAndPlace 则要求把物体抓起再放到目标高度。目标不是"活着"或者"得高分"，而是精确到一个坐标位置。难点在于，稀疏奖励下随机探索基本不可能命中目标：机械臂的动作空间是连续的，推错一点点角度，物体就跑到十万八千里外，最终状态和目标坐标的距离几乎永远不会小于环境判定阈值。
这里可以做个类比。你教一个小孩整理房间，如果他没整理到你满意的样子就完全不给反馈，那他永远不知道"把书放回书架"这个动作是值得做的。稀疏奖励就是这样，它只会通知你"失败"，却不会告诉你"哪一步更接近成功"。传统解法是手写稠密奖励函数，比如用当前状态到目标的负距离当奖励。听上去合理，但工程代价极大：距离奖励容易诱导智能体钻漏洞，比如绕着目标转圈、利用仿真器物理bug，而且每个新任务都要重新设计，完全没法迁移。
1.2 HER 的核心直觉：目标是可以事后修改的
HER 的切入点非常反直觉。既然"失败"是因为没达到给定的目标 g，那我们把目标换掉不就行了？一条 episode 结束时，完整的轨迹已经被记录下来。假设物体最终停在坐标 A，虽然 A 不是我们指定的目标位置，但这确实是智能体"做出来的一件事"。如果把这整条轨迹的目标从 g 临时改成 A，这条轨迹立刻就从一个"失败样例"变成了一个"成功样例"——因为它确实达成了坐标 A。
这个操作在英文里就叫 hindsight，站在结果的角度重新定义问题。它在训练阶段执行，规则很朴素：从同一轨迹的未来状态里随机抽一个当目标，重新计算奖励，形成新的训练样本。这样做的好处是，再稀疏的奖励也会被"做过的状态"持续填充成有效信号。智能体每走一步，哪怕最终任务失败，也能学到一种对应关系：某些动作确实导致了某些结果，下次遇到相似情况就有据可依。
2. 目标重标注机制拆解：HER 在训练流程里到底做了什么
2.1 标准经验回放为什么喂不动稀疏奖励
先回顾普通 off-policy 强化学习的流程。智能体与环境交互，采集一条轨迹，里面每条 transition 是 (s_t, a_t, r_t, s_{t+1}, g)，全部存进 replay buffer，之后随机采样小批量更新策略和值函数。问题在于，如果奖励是稀疏的，buffer 里绝大多数 transition 的 r_t 都是 -1。对 DDPG 这类算法，critic 在拟合 Q 值时只会输出一种模式：几乎所有状态动作对都接近 -1。策略梯度因此失去方向，因为无论动作怎么改，预测的未来回报都差不多糟糕。
有同学会说：那把 (s_t, a_t, s_{t+1}) 当作动力学转移样本，用模型学习不行吗？这确实是另一条路，但等于把问题从强化学习降级成了监督学习加规划，环境模型不准时整个方案会连锁崩坏。HER 没有引入任何模型，它在数据层面做文章，把"失败"样本重新标记成"成功了一部分"的样本，让偶发的、局部正确的行为在 critic 更新时产生有方向的梯度，这是它最省事的地方。
2.2 replay buffer 里的目标重标注：final、future 还是 random
论文里讨论过几种重标注策略，我用最朴素的流程给你们推一遍。一条长度为 T 的轨迹，每一时刻 t 都有状态 s_t、动作 a_t、下一状态 s_{t+1}。原始样本永远保留原目标 g 和原奖励 r。额外再生成重标注样本时，需要从这条轨迹里选出"事后目标" g'，常见有三种选法：final 是直接选轨迹最后一个状态 s_T；random 是从轨迹任意位置随机选一个状态；future 是从 t 之后的位置随机选一个状态 s_{t'}，其中 t' > t。
选完 g' 之后，重算奖励 r'：如果 s_{t+1} 与 g' 的距离小于判定阈值，r'=0，否则 r'=-1。然后把 (s_t, a_t, r', s_{t+1}, g') 也存进 buffer。这样每条原始 transition 不仅服务原来目标，还服务额外几个目标。实际操作里通常取 k=4，也就是每条 transition 额外生成 4 个重标注样本。
这里有个关键点必须强调：重标注目标 G' 是从"当前时刻之后"的状态里抽的，不是从当前状态抽。如果直接拿 s_t 当 g'，那 s_t 和 g' 距离永远是 0，所有样本奖励都是 0，critic 依旧学不到策略差异。future 之所以比 final 好用，是因为它把一条轨迹变成了分布更丰富的目标集合，让智能体在一条失败轨迹里也能看到"一步一步接近某个目标"的完整链条。
| 策略 | 目标来源 | 优点 | 缺点 |
|---|---|---|---|
| final | 轨迹最后一个状态 | 实现最简单，一条轨迹只抽一个目标 | 目标分布太窄，长轨迹信号稀疏 |
| random | 轨迹任意位置 | 目标多样性高 | 包含"目标出现在动作之前"的非因果样本，引入噪声 |
| future | 当前时刻之后的随机状态 | 因果顺序正确，目标多样性适中 | 实现比 final 稍麻烦一点点 |
2.3 HER 到底有没有"作弊"
好多人第一反应是：HER 这不是让智能体偷看未来吗？测试的时候目标明明是固定的，训练时却告诉它"你做到过这个目标"，这似乎不公平。我个人的理解是，这不算作弊。重标注只发生在训练阶段，它的作用是提供一种"学习话术"：不是告诉智能体你刚才完成了目标，而是告诉智能体你刚才的一系列动作和某个结果存在对应关系，请强化这种对应关系。测试时，智能体面对的是完全独立指定的目标，只能依靠学到的条件策略规划动作，一点未来信息都拿不到。
从信息流角度看，HER 确实用了同一段轨迹后文的状态。但强化学习的样本本来就是"收集完再学"，离线重标注不影响数据采集时的行为，也不产生循环依赖。这跟 model-based 方法里的"预测未来"不是一回事，后者必须泛化到没见过的测试目标，HER 只是把历史上发生过的事实当天花板，给监督信号提供更多护栏。更准确地说，你可以把它理解成一种特殊的数据增强，而不是"预知"能力。
3. 从零实现 HER：训练管线、核心代码与关键超参数
3.1 环境选型与观测设计
要复现 HER 的效果，首选 OpenAI Gym 的 Fetch 系列环境，尤其推荐 FetchPush 和 FetchPickAndPlace。它们基于 MuJoCo 物理引擎，自带一个标准的目标条件化接口：观测字典里分为 observation（机械臂关节角、速度、物体位置等）和 achieved_goal（当前实际达到的目标位置），另有 desired_goal 表示外部给定的目标。用这个接口的最大好处是，重标注时直接拿 achieved_goal 替换 desired_goal 即可，不需要自己拼状态和目标向量，代码会干净很多。
如果手头没有 MuJoCo，也可以退而求其次用开源的多目标 grid world，或者基于 PyBullet 的抓取环境。但我要提醒一句：越简单的环境越难暴露 HER 的价值。如果随机探索能频繁接近目标，HER 的重标注几乎体现不出优势，你也很难感受到调参差异。要做实验对比，直接上 FetchPush 这种难度合适的环境，效果最直观。
3.2 核心代码：一个带目标重标注的 Replay Buffer
这里给一段核心实现，简化了环境接口，但数据流完整。重点是 store_episode 这个函数，它同时存放原始样本和重标注样本。
import numpy as np class HindsightReplayBuffer: def __init__(self, capacity, k_future=4, distance_threshold=0.05): self.buffer = [] self.capacity = capacity self.k_future = k_future self.threshold = distance_threshold def _compute_reward(self, achieved_goal, desired_goal): dist = np.linalg.norm(achieved_goal - desired_goal, axis=-1) return (dist <= self.threshold).astype(np.float32) - 1.0 def store_episode(self, episode, desired_goal): # episode: list of (obs, action, next_obs) T = len(episode) for t in range(T): s, a, s_next = episode[t] achieved_next = s_next["achieved_goal"] r = self._compute_reward(achieved_next, desired_goal) self.add((s, a, r, s_next, desired_goal)) # future relabeling for _ in range(self.k_future): if t + 1 >= T: break idx = np.random.randint(t + 1, T) future_goal = episode[idx][0]["achieved_goal"] r_future = self._compute_reward(achieved_next, future_goal) self.add((s, a, r_future, s_next, future_goal)) def add(self, sample): if len(self.buffer) >= self.capacity: self.buffer.pop(0) self.buffer.append(sample) def sample(self, batch_size): ids = np.random.choice(len(self.buffer), batch_size, replace=False) return [self.buffer[i] for i in ids]这段代码有三个地方值得多说一句。第一，episode[idx][0] 取出的是第 idx 步的环境观测，用它里面的 achieved_goal 当未来目标，且 idx 必须大于 t，保证目标出现在动作之后。第二，reward 基于向量距离加阈值判定，这一点和 Fetch 系列环境本身一致，换环境时必须同步换判定方式。第三，buffer 满之后直接 pop(0)，最坏情况 O(n)，数据量大了建议改成循环队列，别把它当生产级实现用。
3.3 DDPG + HER 的组合策略
HER 是数据层面的技术，底层强化学习算法必须是 off-policy 的，因为重标注后的样本属于"改过的历史数据"，需要反复采样才能发挥作用。最常见的组合是 DDPG + HER，这也是论文里的方案。DDPG 维护一个确定性策略和一个 Q 函数，训练时从 replay buffer 采样小批量，分别更新 critic 和 actor。HER 提供的重标注样本密度高，恰好补上 DDPG 在稀疏奖励下 critic 无梯度的短板。
为什么不选 PPO？PPO 是 on-policy 算法，训练时基本只用当前策略最近采到的轨迹，样本利用率低。虽然你也可以在交互后立刻做 relabeling 作为 reward shaping，但严格意义上的 HER 依赖大容量 replay buffer 反复采样，PPO 用起来非常别扭。如果资源够，SAC 或 TD3 配合 HER 也可以，只是参考资料和社区讨论量不如 DDPG 多。
3.4 超参数参考与作用解释
这里给一组在 FetchPush 上能稳定复现效果的参考配置，参考了 OpenAI baselines 的常见设置，不是唯一答案，但方向没问题。
| 参数 | 参考值 | 作用与注意点 |
|---|---|---|
| k_future | 4 | 每条 transition 额外生成的重标注样本数，太小信号不足，太大 buffer 会被后期状态主导 |
| replay buffer | 1e6 | 足够大才能容纳整段轨迹及其重标注副本 |
| batch size | 256 | 偏大的 batch 能让重标注目标分布更稳定 |
| actor lr | 1e-3 | 策略更新步长，过大容易震荡 |
| critic lr | 1e-3 | 与 actor 一致，Fetch 系列可接受 |
| gamma | 0.98 | 偏小一点能缩短有效视野，对稀疏目标反而友好 |
| tau | 0.05 | target 网络软更新系数，常用 0.001-0.05 |
| exploration noise | 0.2 | 高斯策略噪声的 sigma，FetchPush 常用 0.2，PickAndPlace 可上调到 0.3 |
训练节奏上，常见做法是一个 cycle 内先跑若干条 episode，再从 buffer 里做多步梯度更新。我在本地机器上习惯一个 cycle 采集 16 条轨迹、更新 40 步，采集和训练交错进行，这样计算强度比较均衡。GPU 不是必须的，Fetch 系列状态维度不大，8 核 CPU 跑几个 cycle 完全够用。
4. 实操记录：调参、踩坑与效果对比
4.1 我亲自踩过的三个坑
第一个坑是状态归一化。Fetch 系列的 observation 里，同时包含机械臂关节角度和物体位置，量纲完全不同。我一开始把 state 和 goal 直接拼起来当 critic 输入，结果 critic loss 下降得很慢，成功率卡在 30% 左右。后来给所有输入做了 running normalization，再配合 BatchNorm，曲线明显变陡。这一步容易被低估，HER 对目标分布很敏感，输入尺度不统一会让重标注后的"距离相近"判断失真。
第二个坑是阈值设得太严。Fetch 系列默认成功判定是欧氏距离小于 0.05，这个值本身合理，但我一开始为了追求精度把阈值改成 0.01，结果成功率几乎归零。原因很直接：目标维度是三维坐标，0.01 的球体体积只有 0.05 的约八百分之一，随机动作很难恰好落在球里，重标注后奖励 0 的样本也大幅减少。这反过来说明一个规律：阈值要和环境的物理尺度匹配，不是越严格越好。
第三个坑是探索噪声大小。DDPG 在 FetchPush 上我用高斯噪声 sigma=0.2 效果很好，换到 FetchPickAndPlace 之后，同样噪声下成功率一直上不来。问题出在抓取阶段需要更大幅度的动作探索，0.2 的噪声不够。把 sigma 调到 0.3 后，前期探索能够覆盖更多抓取姿态，训练才顺畅起来。探索噪声需要和环境动作尺度匹配，没有万能公式，只能逐个环境实验。
顺便补充一个容易忽略的现象：replay buffer 里一旦混入大量重标注目标，desired_goal 的分布会逐渐偏离测试时给定的目标分布。我在实验里发现，如果训练后期 buffer 里 90% 都是 achieved_goal 分布的目标，actor 会对"历史达成过"的目标区域学得非常好，但泛化到全新目标时偶尔会动作漂移。缓解办法是在每个 cycle 里始终保留一部分原始目标样本，比例大约在 1:1 到 1:2 之间比较稳。
4.2 常见问题排查速查表
把我在复现里最常见的现象和排查方向整理成表，方便大家直接对照。
| 现象 | 可能原因 | 排查与建议 |
|---|---|---|
| 训练 100 万步 loss 几乎不动 | k_future 为 0 或重标注逻辑没生效 | 打印 buffer 里 reward 为 0 的样本占比，应该明显大于 0 |
| 成功率在中间剧烈震荡 | critic lr 过大或 tau 过大 | 减小 lr 到 3e-4，tau 降到 0.005 左右 |
| FetchReach 能收敛，FetchPush 学不动 | 状态或目标表示有问题 | 检查是否包含物体位置和末端位置，做归一化 |
| 重标注后的奖励全是 -1 | 阈值太小，或抽取目标距离当前状态太远 | 先调大阈值验证链路，再逐步减小到合理值 |
| 训练速度很慢 | 采集和训练串行，MuJoCo 单线程 | 用多进程并行跑 rollout，buffer 写入放主线程 |
| 后期表现反而变差 | buffer 目标分布偏离原始目标分布 | 控制原始样本与重标注样本的比例，避免目标分布漂移 |
4.3 实测结果：HER 和普通 DDPG 的差距有多大
同样的 FetchPush 环境、同样的 DDPG 底子，普通稀疏奖励跑了约 200 万步，成功率始终在 0 附近徘徊，曲线基本是地平线。加上 HER 之后，大约 30 万步时成功率开始出现上升趋势，70 万步时稳定达到 80% 以上，个别随机种子能接近 100%。这个跨越不是运气好，而是重标注让 critic 在最早期就学到了"某些动作组合确实能把东西推到某个位置"，于是即使没人告诉它真正的目标，它也积累了可迁移的经验。
FetchPickAndPlace 更硬核，对机械臂抓取动作要求高，HER 单独跑 200 万步时，常见报告一般在 50%-80% 不等，主要取决于是否加了辅助奖励、是否调整位姿控制。我的体感是，复杂任务里 HER 更多是"基础框架"，想冲高分还得叠加课程化策略，比如把任务拆成"先抓到合适高度、再移动到目标位置"两段。这部分已经超出 HER 本身了，属于工程上的后续叠加。
最后再聊几句实在话
做这个复现最大的收获，不是记住了 HER 的超参数，而是养成了一种习惯：任务失败时不要急着改网络结构，先看看能不能重新定义问题本身。工程上"后见之明"的思路其实非常通用，比如推荐系统 A/B 实验整体没涨点，回看数据时发现某个子群有明显改善，那就可以把这个子群当新目标继续深挖，这和 HER 的重标注本质上是同一件事。如果你正在调试强化学习代码，希望这份记录能帮你少走几次弯路。最后补一个实用小技巧：复现时别从零写整套分布式 rollout，直接找开源的 her_ddpg 版本改环境接口，把时间花在目标重标注和 reward 判定这两个核心环节上，效率会高很多。
