EasyWAM-Hidden-Wan22架构深度解析：Action DiT如何单向条件Video DiT特征实现隐藏视觉条件

EasyWAM-Hidden-Wan22架构深度解析：Action DiT如何单向条件Video DiT特征实现隐藏视觉条件

EasyWAM-Hidden-Wan22 是基于 Wan2.2-TI2V-5B 视频基座模型训练的 World Action Model（世界动作模型）检查点仓库。它的核心架构是：一个独立的Action DiT以单向条件方式读取Video DiT的中间特征，从而获得"隐藏视觉条件"（hidden visual conditioning），在 LIBERO 机器人操作基准上取得了 98.8% 的平均成功率。本文将从新手视角拆解这套架构的设计思路、评测结果与使用要点。

什么是 EasyWAM-Hidden-Wan22？

一句话概括：用视频生成模型的"想象力"，让机器人更会做动作。

• 基座模型：Wan-AI/Wan2.2-TI2V-5B（文生视频/图生视频 DiT 架构）
• 训练框架：基于 EasyWAM 代码库训练（本仓库仅发布检查点与数据统计）
• 应用领域：机器人学（robotics）、模仿学习（imitation learning）、世界动作模型
• 评测基准：LIBERO 四套操作任务套件 + LIBERO-Plus 扰动测试

本仓库是一个"发布型仓库"，只包含 4 个文件，均已在下文给出相对路径。

文件	说明
README.md	项目说明、评测结果与使用命令
libero_hidden_wan22.pt	LIBERO 全参数检查点
libero_hidden_wan22_lora_128.pt	LIBERO LoRA 检查点（rank 128 / alpha 128）
libero_dataset_stats.json	LIBERO 状态与动作归一化统计量

架构核心：单向条件机制如何工作

角色分工：Video DiT 与 Action DiT

可以把模型想象成一个"双部门团队"：

1. Video DiT（视频部门）：继承自 Wan2.2-TI2V-5B，擅长"看画面、预测画面"，负责未来视频预测。
2. Action DiT（动作部门）：EasyWAM 新增的独立模块，负责把视觉信息转化为机器人动作指令。

关键点在于两者之间的连接方式——单向条件（one-way conditioning）：

• Action DiT 会读取 Video DiT中间层的特征作为条件输入；
• 但 Video DiT不会反过来读取 Action DiT 的信息。

用通俗的话说：动作模块可以"旁听"视频模块的思考过程，视频模块则保持"专心画画"，不被动作任务打扰。

为什么选择"单向"而不是双向？

双向交互看似信息更充分，但通常会让训练更复杂、任务间互相干扰。单向条件带来了三个好处：

• 解耦训练目标：视频预测与动作学习各自有清晰的梯度路径，Video DiT 的视频生成能力被尽量保留；
• 复用预训练能力：Action DiT 直接"站在" Wan2.2 强大视频特征的肩膀上，少走了很多冷启动的弯路；
• 推理可解释：视觉条件来源唯一且固定（Video DiT 中间特征），行为更稳定。

什么是"隐藏视觉条件"？

"隐藏"（hidden）指的是：Action DiT 拿到的不是原始图像，而是 Video DiT 内部的潜在特征表示——这些特征包含了场景的动态规律与未来趋势，比像素信息更"浓缩"。

这正是 README.md 中强调的一点：推理阶段模型依然保留未来视频预测。因为未来视频预测是产生这些隐藏视觉特征的前提——模型先"想象"接下来会发生什么，动作模块再基于这些想象生成动作。换句话说，"预测未来画面"本身就是这套架构的核心能力来源，而不是可选项。

LIBERO 评测结果解读：为什么值得选这个架构

以下数据来自 README.md 的官方评测协议（state_position: sequence，数字为成功率 %，越高越好）。

全参数模型对比

模型	Spatial	Object	Goal	LIBERO-10	Avg.
EasyWAM-Unified	98.4	98.8	99.2	98.0	98.6
EasyWAM-MoT	97.0	99.2	96.6	94.0	96.7
EasyWAM-MoT-Joint	98.2	98.0	97.6	96.8	97.7
EasyWAM-MoT-IDM	99.0	99.2	98.8	97.4	98.6
🔥 EasyWAM-Hidden	99.2	100.0	97.8	98.2	98.8

🏆98.8% 的平均成功率是所有同基座（Wan2.2-TI2V-5B）模型中最高的，尤其在 Object 套件上拿到满分 100.0。

LoRA 轻量版对比

模型	Spatial	Object	Goal	LIBERO-10	Avg.
EasyWAM-Unified	91.2	98.8	91.8	66.2	87.0
EasyWAM-MoT	96.8	99.6	97.4	90.0	95.9
🔥 EasyWAM-Hidden	98.0	99.8	89.4	86.6	93.5

LoRA 版本下，EasyWAM-MoT 略占优；但注意 Hidden 版的 Spatial（98.0）与 Object（99.8）单项表现依然非常强，短板集中在 Goal 与 LIBERO-10 长序列任务。

鲁棒性：LIBERO-Plus 扰动测试

模型	Background	Camera	Layout	Light	Robot	Avg.
EasyWAM-MoT-IDM	62.2	52.0	82.0	93.2	78.0	75.3
🔥 EasyWAM-Hidden	59.3	57.0	84.3	95.0	83.7	77.6

在背景、相机、布局、光照、机器人外观等扰动场景中，EasyWAM-Hidden 平均 77.6% 同样领先，相机扰动（57.0）与布局扰动（84.3）两项为全场最高——这印证了隐藏视觉条件对视觉变化的容忍度更高。

检查点下载与评测快速上手

第一步：下载检查点

hf download OpenMOSS-Team/EasyWAM-Hidden-Wan22 \ libero_hidden_wan22.pt \ libero_hidden_wan22_lora_128.pt \ libero_dataset_stats.json \ --local-dir ./checkpoints

第二步：运行 LIBERO 评测

需要先安装 EasyWAM 代码库、按官方指南配置 Wan2.2-TI2V-5B 依赖与 LIBERO 模拟器，然后执行：

# 全参数检查点 python experiments/libero/run_libero_manager.py \ task=libero_easywam_hidden_wan22 \ ckpt=./checkpoints/libero_hidden_wan22.pt \ EVALUATION.dataset_stats_path=./checkpoints/libero_dataset_stats.json # LoRA 检查点 python experiments/libero/run_libero_manager.py \ task=libero_easywam_hidden_wan22_lora \ ckpt=./checkpoints/libero_hidden_wan22_lora_128.pt \ EVALUATION.dataset_stats_path=./checkpoints/libero_dataset_stats.json

默认协议会对 4 套 LIBERO 套件、每个任务各跑 50 次；多卡加速可加MULTIRUN.num_gpus=<gpu-count>参数。

使用注意清单（避坑指南）

• ⚠️LoRA 检查点不包含完整 Wan2.2 基座：libero_hidden_wan22_lora_128.pt 只含 rank 128（alpha 128）的 LoRA 权重与其余可训练模块，使用前必须自行下载 Wan2.2-TI2V-5B 基座权重并配置路径；
• ⚠️任务配方要匹配：LoRA 检查点必须用对应的libero_easywam_hidden_wan22_lora任务配方加载，不能混用全参数配方；
• 📌状态 token 放置方式为sequence，评测与微调时请保持一致；
• 📌 检查点格式为 EasyWAM PyTorch checkpoint（.pt），归一化统计见 libero_dataset_stats.json（含 state 8 维与 action 7 维的 min/max/mean/std 等）；
• 📜 检查点采用CC BY-NC 4.0许可，EasyWAM 代码为 MIT 许可，商用前请留意许可条款。

总结

EasyWAM-Hidden-Wan22 给出了世界动作模型的一个优雅答案：不必让视频和动作互相纠缠。Action DiT 单向读取 Video DiT 的中间特征，把"预测未来画面"的能力转化为"隐藏视觉条件"，最终以 98.8% 的平均成功率登顶同基座模型对比。如果你正在寻找一个开箱即用、且在视觉扰动下依然稳健的机器人操作策略检查点，这套 Wan2.2 隐藏条件架构值得一试。