论文：Harnessing VLM in Embodied RL: From Reward Regressor to Success Detector via Exploration-Augmented Key-Observation Gating，作者来自中科院自动化所、国科大和智元（AGIBOT）。
一、动机
- 主流做法和 VLM 的长处不匹配。现在的主流做法是标注大量奖励数据，再微调 VLM 去回归稠密进度分数（Robo-Reward、Robometer、VLAC、Robo-Dopamine 等）。这样做有两个问题：
- 标注成本高，也没法直接用闭源的强 VLM；
- 这类奖励模型适合微调已经预训练好的策略（如 VLA），但从零开始的 RL 早期轨迹离成功很远，进度估计很不准。
作者认为根本原因是：精确回归奖励不是 VLM 擅长的事，回答"成功了没有"这种视觉问答才是。所以应该让冻结的 VLM 充当成功检测器。
- 直接这样用还会遇到三个困难：
- 成本：RL 需要海量样本，每条轨迹都调用一次闭源 VLM，又贵又慢；
- 判断准确率：RL 轨迹里有遮挡、中间姿态、已经越过完成时刻的帧等，VLM 只看单张图很难判断。Table 1 显示，没有参考帧时准确率只有 42%，加上参考帧后达到 100%；
- 奖励稀疏：从零训练时，二值成功信号几乎永远是 0，学不起来。
二、方法要点
1. 成功参考帧构建
- 用 3–5 条专家视频，对 Wan2.1-I2V-14B 做 LoRA 微调，得到 G_ψ。
- 每个 episode 开始时，用初始帧 o₀ 和任务指令生成一段"专家式成功轨迹" Ṽᵉ。
- 取索引 ≥ τ_idx 的后段帧，作为本 episode 专属的成功参考帧集合 𝓕₊ᵉ。这样不需要为每种初始状态收集专家视频。
2. 门控第一步：过滤低质量轨迹（rollout 期间在线进行）
- 用专家视频，通过对比自监督训练一个轻量编码器 E_φ。
- 对每个观测计算 s_t = max cos(Eφ(o_t), Eφ(ṽ_i))，即和成功参考帧的最大相似度。
- 只要有任意一帧满足 s_t ≥ τ_sim（0.95），这条轨迹就标记为"值得判断"（judgment-worthy）。否则直接丢弃，不调用 VLM，R_succ = 0。
3. 门控第二步：关键观测选择与 VLM 判定（rollout 结束后进行）
- 取 t* = argmax s_t，也就是最接近成功参考的那一帧，作为整条轨迹的代表。这样可以避开末帧被机械臂遮挡、或者已经错过完成时刻的问题。
- 把三张图交给冻结的 VLM（GPT-5.5）做比较式问答：初始帧 o₀、关键观测 o_{t*}、生成视频的末帧 v_ref。VLM 输出二值结果 b(τ) ∈ {0,1}。
- 每条轨迹最多调用 VLM 一次。
4. 探索激励
- 稀疏成功奖励不够用，因此加入作者团队之前的 DEG 视频模仿奖励（Liu et al. 2026）作为稠密探索项 r_expl。它由两部分组成：
- 粗粒度项：沿生成轨迹逐段推进的进度奖励；
- 细粒度项：与后续引导帧在视觉上精确匹配的奖励。
- 最终奖励为 r_t = r_expl,t + λ·R_succ(τ)，其中 λ=10。成功奖励会广播到这条轨迹的每个时间步。
- 分工上：探索项负责把策略引到更容易触发判定的状态附近，语义上是否真正完成仍由 VLM 来判。
三、框架（对应论文 Figure 2所示）
整个流程是一条四段流水线：
生成视频，提取成功帧→rollout 中按相似度门控→结束后选关键帧，VLM 三图判定→探索激励 + λ·成功奖励，交给 RL 训练
- 仿真部分的 RL 骨干是 DrQv2，真机部分是 HIL-SERL。
四、实验结果
- MetaWorld 12 个无环境奖励任务，从零开始 RL，30 万步（assembly 为 100 万步）：
- VLMeg 在所有任务上都明显领先；
- 5 个 VLM 奖励基线在大多数任务上成功率接近 0，只有 door-close、drawer-close 这类低精度任务上部分基线表现尚可。
- Franka 真机 3 个任务：drawer-close、pick-apple、stack-cube。与 Robo-Reward 相比，VLMeg 成功率更高，人工干预次数下降更快。
- 消融实验：
- 去掉探索激励，几乎学不起来；
- 去掉门控（直接用末帧判定），成功率明显下降；
- 去掉 VLM（只保留探索项），会被"动作像专家、但物体没被操作"的轨迹欺骗。
- 门控效果（Figure 11）：VLM 调用次数减少约 1/3 到 1/2，判定准确率从 37–62% 提高到 78–92%。
- 不同 VLM 骨干：GPT-5.5 ≈ GPT-4.1，两者都远强于 Cosmos-Reason2-8B。
五、贡献
- 视角转变：提出 VLM 在具身奖励中应该做成功检测器而不是奖励回归器，冻结模型、零后训练就能用上闭源强模型的问答能力。
- 探索增强的关键观测门控：先用生成视频提供逐 episode 的成功参考，再完成"在线过滤低质量轨迹 + 离线选关键帧"。这同时解决了调用成本和判定准确率两个问题，并配合视频模仿探索激励缓解奖励稀疏。
- 实证：在 12 个仿真任务和 3 个真机任务上，无需真实奖励即可完成从零 RL，并超过 5 个先进的 VLM 奖励基线。
六、不足之处
基线对比的公平性（最大的问题）
- VLMeg 带了稠密探索项，基线没有。附录 C.2 写明，基线只在 episode 结束（done）时调用一次，把一个标量奖励赋给整条轨迹，等于被当成了稀疏 episodic 奖励使用；而 VLMeg 还有每步的 DEG 稠密奖励。基线在多数任务上接近 0，很可能主要是这个原因。
- 最该补的对照没有做。应该比较"基线奖励 + 同样的 DEG 探索项"，或者"DEG + 真实稀疏成功奖励（oracle）"。现在无法分清提升有多少来自"成功检测器"这个核心主张，又有多少来自作者自己的 DEG 加视频生成。
- "去掉 VLM"的变体本身就很强。在 button-press、button-press-topdown 上，它和完整方法相差不大，说明 DEG 承担了相当大的份额。
- 缺少经典成功分类器作为对照。没有和 HIL-SERL 式的 ResNet 二分类器比较，而那正是同样只需少量示范、成本更低的成功检测方案。
"无需真实奖励"的说法打了折扣
- 每个任务的 prompt 都是手写的，且相当细。附录 C.4 中的 prompt 包含"黑色立柱变短但按钮还没接触，仍算未完成"”部分打开不算"之类的专家判定规则。这本质上是把奖励工程挪进了 prompt，泛化到新任务仍需要人工。
- 每个任务都有额外的专门组件。需要 3–5 条专家视频、单独做 LoRA 微调视频模型、单独训练编码器，各自还有阈值超参。
方法层面的风险
- 门控依赖相似度阈值。τ_sim=0.95 对所有任务固定不变，编码器只在 3–5 条视频上训练。如果策略用不同于专家的姿态或路径完成任务，可能根本过不了门，直接得 0，形成系统性的假阴性，让策略被迫模仿专家。
- 关键帧选择偏向"像专家"而不是"能看清物体状态"。最大相似度帧不一定是最能体现物体状态的那一帧。
- 视频生成可能产生幻觉。生成视频本身就可能出错（物理不一致、结果错误），作为参考帧和探索引导时，这种错误会传递下去。文中没有分析生成失败的比例和影响。
- 信用分配很粗糙。二值成功奖励广播到所有时间步，λ 还对任务敏感：plate-slide-side 上 λ=50 时几乎崩溃。
- 每个 episode 都要跑一次 14B 视频生成，再调用闭源 API。3.1 小时的生成开销、实时性，以及真机部署时的延迟都没有充分讨论。换成开源的 Cosmos-8B 后性能大幅下降，说明方法依赖最强的闭源模型。
实验规模与严谨性
- 动机实验样本极小。Table 1 和 Table 2 只有 20 张图（每类 10 张），"100% vs 42%"的结论统计意义有限。另外，Table 1 正文写的是 faucet-close，附录 C.5 写的是 faucet-open，前后不一致。
- 仿真只用了 MetaWorld 单视角的短程任务。没有涉及长程、多阶段或可变形物体等更难的场景。
- 真机部分偏弱。只有 3 个任务，只对比了一个基线，曲线经过平滑，没有给出最终评估成功率表。用的是有人类干预的 HIL-SERL，人类干预本身就会把策略带到成功区域附近。论文也没有说明随机种子数量。
VLMeg 的思路很清楚：让 VLM 只在"值得判断"的轨迹上、看最有代表性的一帧、对照参考图回答"成功了没有"，这确实更契合 VLM 的能力。但实验中探索项和对比协议不对等、prompt 依赖细致的人工规则、整体依赖闭源大模型和视频生成，削弱了"成功检测优于奖励回归"这一核心论断的说服力。
