- 人工智能
- 大模型
- 医疗健康
- 机器人
- 媒体生成
- 计算机视觉
【免费下载链接】Cosmos3-H-Dreams
Cosmos3-H-Dreams是 NVIDIA 推出的实时、动作条件驱动的手术世界模型，专为 CMR Surgical Versius 机器人系统设计。它接受一帧内窥镜图像和28 维动作向量序列作为输入，自主生成手术内窥镜视频，让世界模型精准跟随双臂机器人的每一条指令。本文面向新手用户，用最少公式讲清输入结构、运行方式与落地步骤。
🤖 什么是 Cosmos3-H-Dreams？
把它理解为一台"手术场景模拟器"：
- 输入：一张内窥镜相机帧 + 最近的机器人指令历史 + 未来一段时间的双臂运动控制指令（即 28 维动作向量流）
- 输出：一段按指令"演化"出来的内窥镜视频（默认 72 帧 / 10 Hz / 7.2 秒，832×480 分辨率）
- 用途：手术机器人策略评估、交互式（遥操作）世界模型探索、机器人胆囊切除的合成数据生成
模型基于 Cosmos3-H-Embodied-Nano 微调并蒸馏而来（总参数约 15.17B），通过 Self-Forcing 因果蒸馏，只需每潜帧 4 步去噪即可流式生成视频，详见 README.md 的 Model Architecture 章节。
🎯 核心输入：28 维动作向量逐维拆解
28 维动作向量是这套系统的"灵魂"——它完整描述了双臂机器人在 1 个 100 ms 时刻（10 Hz）的全部控制状态。结构如下：
14 维 × 双臂 = 28 维
| 维度范围 | 含义 | 数量 |
|---|---|---|
| 左臂 0–13 / 右臂 14–27 | 每臂 14 维，左右臂各占一半 | 28 |
| ├─ anchor-relative translation | 相对锚点的平移 | 3 |
| ├─ anchor-relative 6D rotation | 6D 旋转表示（比四元数更连续） | 6 |
| ├─ jaw | 夹爪开合 | 1 |
| ├─ electrosurgical energy active | 电外科能量开关（0/1） | 1 |
| ├─ thumbstick button | 摇杆按键（0/1） | 1 |
| └─ thumbstick axes | 摇杆双轴（缩放后） | 2 |
几个新手容易踩坑的预处理细节：
- 姿态通道是"相对"量：历史与未来指令都以条件帧的姿态为基准表达，且做过分位数归一化并截断到 ±1.5
- 二值控制（能量、摇杆按键）：只要该 100 ms 步内被按下过一次即为 1
- 内部零填充到 64 通道，对应 CMR Versius 具身域 25（共 32 个域）
- 电外科能量、摇杆按键、摇杆轴是相对上一代模型（20 维）新增的 8 维，让能量烟雾、镜头控制等细节也能被建模
动作历史：最多 16 步（1.6 秒）
动作历史是可选的（0–16 步），但必须是真实、连续的过去指令，不能拼接或伪造。历史与条件帧会一次性预填充进 KV cache，为后续流式生成提供"记忆起点"。
📥 输入输出速查表
| 项目 | 规格 |
|---|---|
| 图像输入 | RGB 单帧，推荐 16:9 比例，模型内部为 832×480 |
| 动作向量 | 28 维 × (最多 16 步历史 + 72 步未来)，10 Hz |
| 默认输出 | 72 帧未来视频（7.2 秒），每 4 帧（0.4 秒）为一个流式块 |
| 输出格式 | mp4（H×W×T 视频） |
| 长轨迹 | 通过继续自回归或周期性"重新锚定"真实帧实现 |
⚙️ 运行机制：KV Cache + 4 步去噪
推理过程非常"经济"，适合实时交互：
- 条件帧 + 动作历史 →一次性写入 KV cache
- 之后每个潜帧消费4 个未来动作向量（0.4 秒），生成 4 个新视频帧
- 每个潜帧仅4 步去噪（2 步版本可进一步提速）
在单张 NVIDIA Blackwell RTX PRO 6000 上可稳定跑到30 FPS（4 步）/ 43.2 FPS（2 步）；Max-Q 版本约 20–31 FPS；DGX Spark 以 512×288 降级分辨率运行约 16.9 FPS。
📦 获取模型权重
当前仓库已内置蒸馏后的学生模型权重，位于 checkpoints/exp15/ 目录：
| 权重文件 | 说明 |
|---|---|
| checkpoints/exp15/c3-h-d_2-step_model_bf16.safetensors | 2 步去噪版本，速度最快（约 43 FPS） |
| checkpoints/exp15/c3-h-d_4-step_model_bf16.safetensors | 4 步去噪版本，质量更稳（约 30 FPS） |
两个文件旁均附带.sha256校验文件，下载后可自行验证完整性。BF16 精度在 Blackwell / Hopper 架构的 NVIDIA GPU 上验证过实时运行。
如需获取完整项目（含运行时代码仓库），可使用：
git clone https://gitcode.com/hf_mirrors/nvidia/Cosmos3-H-Dreams.git⚠️ 使用边界：这些场景模型会"失灵"
根据 EXPLAINABILITY.md 的官方说明，请务必在以下边界内使用：
- 只支持 Versius 胆囊切除场景，且画面中恰好可见 2 个器械（典型为左臂夹钳 + 右臂钩）
- 摇杆驱动的镜头运动（平移/缩放/旋转）在训练中被排除，复现可能不准
- 左臂电外科能量事件在训练中很少见，烟雾等效果可能不可靠
- 快速运动或长自回归会累积漂移，建议定期用真实帧重新初始化
- 生成的视频"看起来合理" ≠ 指令被精确执行，建议用受控动作探针做行为验证
💡 新手建议：先跑 2 步权重确认链路通畅，再切换到 4 步权重评估质量；rollout 超过 30 秒时务必做重新锚定。
🛡️ 安全与合规提示
- 模型不用于诊断、术中引导或机器人直接控制，策略结果必须经物理系统验证后方可临床使用（见 SAFETY_and_SECURITY.md）
- 使用受NVIDIA Open Model License约束，商用与非商用均允许，但需遵守许可条款
- 数据隐私政策详见 PRIVACY.md；偏差子卡见 BIAS.md
📚 参考文件
| 文件 | 内容 |
|---|---|
| README.md | 模型卡：架构、输入输出、训练数据、性能表 |
| EXPLAINABILITY.md | 可解释性子卡：原理与已知局限 |
| checkpoints/exp15/ | 2 步 / 4 步蒸馏权重（bf16） |
| config.json | Hugging Face 查询配置文件 |
| LICENSE | NVIDIA Open Model License 全文 |
- 人工智能
- 大模型
- 医疗健康
- 机器人
- 媒体生成
- 计算机视觉
【免费下载链接】Cosmos3-H-Dreams
相关推荐
深入 Cosmos-H-Dreams 的 44 维统一动作空间：dVRK 双臂 20D 动作向量与零填充机制详解
深入 Cosmos H Dreams 的 44 维统一动作空间：dVRK 双臂 20D 动作向量与零填充机制详解 Cosmos H Dreams 是 NVIDI
Cosmos3-H-Dreams 完全概览：NVIDIA 实时手术世界模型，让机器人手术"看得见未来"
Cosmos3 H Dreams 完全概览：NVIDIA 实时手术世界模型，让机器人手术"看得见未来" Cosmos3 H Dreams 是 NVIDIA 开源
人工智能大模型医疗健康机器人媒体生成计算机视觉Cosmos3-H-Dreams 动作表示详解：锚点相对混合编码、电刀能量与摇杆控制如何嵌入世界模型
Cosmos3 H Dreams 动作表示详解：锚点相对混合编码、电刀能量与摇杆控制如何嵌入世界模型 Cosmos3 H Dreams 是 NVIDIA 面向
人工智能大模型医疗健康机器人媒体生成计算机视觉
创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
