ComfyUI-WanVideoWrapper 完整指南:在 ComfyUI 中跑通 WanVideo 文本转视频、图像转视频与口型同步
【免费下载链接】ComfyUI-WanVideoWrapper项目地址: https://gitcode.com/GitHub_Trending/co/ComfyUI-WanVideoWrapper
ComfyUI-WanVideoWrapper 教程:该插件把 WanVideo 2.1/2.2 系列视频生成模型接入 ComfyUI 节点画布,覆盖文本转视频(T2V)、图像转视频(I2V)、音频驱动口型同步三条主路径,并内置 block swap、FP8/GGUF 量化、radial attention 等省显存手段。
先自查:谁适合用这个插件,硬件门槛是什么
这一节能判断你的环境是否达标,以及它与原生 ComfyUI 功能如何分工。
| 自查项 | 要求/说明 |
|---|---|
| 目标人群 | 想第一时间试用 WanVideo 新模型、新玩法(HuMo、ReCamMaster、ATI 等)的 ComfyUI 用户 |
| Python 版本 | 3.10 及以上 |
| 显存 | 8GB 起步;4GB 可运行但需配合 block swap 与量化,体验偏吃力 |
| 磁盘空间 | 预留 50GB 以上存放主模型、文本编码器、VAE 等文件 |
原生 ComfyUI 自带一部分 WanVideo 支持,负责稳定、成熟的基础工作流。本插件定位是"新模型尝鲜区":作者原话是,除非是原生还没上的模型或功能,否则优先用原生。两者可以并存,互不冲突。
部署流程:WanVideo 模型文件放哪个目录
本节走完,重启 ComfyUI 即可在节点面板看到全部 WanVideoWrapper 节点。
克隆插件到 ComfyUI 的
custom_nodes目录:cd ComfyUI/custom_nodes git clone https://gitcode.com/GitHub_Trending/co/ComfyUI-WanVideoWrapper安装依赖,在克隆出的目录内执行
pip install -r requirements.txt。 Windows 便携版用户在 ComfyUI_windows_portable 目录下执行:python_embeded\python.exe -m pip install -r ComfyUI\custom_nodes\ComfyUI-WanVideoWrapper\requirements.txt按下方表格摆放模型文件(放错目录是"找不到模型"报错的最大来源):
| 类型 | 目录 | 用途 |
|---|---|---|
| 文本编码器 | ComfyUI/models/text_encoders | 理解提示词,示例工作流默认umt5-xxl-enc-bf16.safetensors |
| CLIP Vision | ComfyUI/models/clip_vision | I2V 时分析输入图片内容 |
| 主视频模型(Transformer) | ComfyUI/models/diffusion_models | 视频生成核心,FP8 与 GGUF 格式均可被WanVideo Model Loader直接加载 |
| VAE | ComfyUI/models/vae | 潜空间与画面之间的编解码,示例默认Wan2_1_VAE_bf16.safetensors |
| Whisper 音频编码器 | ComfyUI/models/audio_encoders | HuMo 口型同步的语音特征提取 |
- 验证:重启 ComfyUI,打开节点面板搜索 WanVideoWrapper 分类。能看到
WanVideo Model Loader、WanVideo Sampler等节点,即安装成功。
生成第一条视频:最简 T2V 三步走
本节用仓库自带示例把纯文字生视频跑通,全程只需 3 步。
- 加载示例工作流:把
example_workflows/wanvideo_2_1_14B_T2V_example_03.json拖进 ComfyUI 画布。它已串好WanVideo TextEncode、WanVideo Sampler、WanVideo Decode与 VHS_VideoCombine 的完整链路。 - 写一段具体提示词:在
CLIPTextEncode节点填入描述,越具体越稳。示例工作流自带一条可直接使用的提示词:high quality nature video featuring a red panda balancing on a bamboo stem while a bird lands on it's head, on the background there is a waterfall - 运行:点击队列运行。该示例默认 30 步、cfg 6.0、shift 5.0,采样器 dpm++_sde;等待完成后在 VHS_VideoCombine 节点拿到成片。
提示词写得"空"(如只写"一只猫"),画面细节和运动质量都会明显下降;把主体、动作、背景、镜头各写一句是性价比最高的提升。
能力扩展:I2V 与 HuMo 音频驱动口型
本节在 T2V 基础上各加一个输入源:一张图或一段音频。
图像转视频(I2V)
加载example_workflows/wanvideo_2_1_14B_I2V_example_03.json,用LoadImage节点换掉示例图(仓库素材可直接用),再写一段"人物缓缓转头、头发随风轻扬"之类的运动描述即可。该示例的关键参数:输出 832x480、81 帧,WanVideo Sampler设 4 步、cfg 1.0、shift 5.0,配合 I2V 模型的 latent_strength 首帧约束生成动态镜头。
仓库自带的人像素材适合作为第一张测试图:
物体、环境图同样适用,比如仓库素材里的泰迪熊,可以配"熊缓缓抱起手中的红玫瑰"这类提示词试试:
音频驱动口型同步(HuMo)
加载example_workflows/wanvideo_2_1_14B_HuMo_example_01.json。工作流会用人像图加一段语音,经Whisper Model Loader提取语音特征、HuMo Embeds节点注入音频条件(示例中 num_frames 65、audio_scale 2.5、audio_cfg_scale 2.5),生成口型与声音对齐的说话视频,音频还经过 MelBandRoFormer 修复与响度归一。仓库example_workflows/example_inputs/目录里备有woman.wav这类配套音频,可直接替换LoadAudio节点的输入来试。
人像图建议使用面部清晰、光照均匀的素材:
运动与相机控制
这两类"外挂"控制让画面多出导演视角,各取一个示例加载即可:
| 能力 | 示例工作流 | 适用需求 |
|---|---|---|
| WanMove 运动轨迹控制 | example_workflows/wanvideo_2_1_14B_WanMove_I2V_example_01.json | 指定物体/目标沿给定轨迹运动 |
| ReCamMaster 相机控制 | example_workflows/wanvideo_1_3B_ReCamMaster_example_01.json | 镜头推拉摇移等运镜效果 |
| Fun camera 相机控制 | example_workflows/wanvideo_2_1_14B_Fun_control_camera_example_01.json | Wan 2.1 14B 的相机运动控制 |
提速与省显存:block swap、量化与 radial attention
本节一张表给全手段,按显存从紧到宽依次选用。
| 手段 | 效果 | 关键节点/参数 | 适用场景 |
|---|---|---|---|
| block swap | 大模型在低显存卡上可跑,速度换显存 | WanVideoSetBlockSwap指定交换块数,WanVideoBlockSwap输出接入模型加载器 | 8GB 显存跑 14B 模型 |
| FP8 / GGUF 量化 | 显存占用明显下降,画质损失可接受 | 模型文件换成 fp8 或 GGUF 版本,WanVideo Model Loader直接选择,base_precision选 fp16 | 入门测试、低显存日常使用 |
| radial attention | 注意力只聚焦邻近帧,长视频提速明显 | WanVideoSetRadialAttention控制启用的步数与块 | 长镜头、数百帧生成 |
| torch.compile | 约 30% 提速(需安装 Triton) | WanVideoTorchCompileSettings节点接入模型加载器 | 40 系显卡以上的常规生成 |
注意一点:未合并的 LoRA 权重现在会并入模型块随 block swap 一起交换,若不开 block swap,加了 LoRA 后显存占用反而上升;开了 block swap 则可能需要多交换几个块来补偿。
报错自救卡:显存不足、找不到模型、编译异常
按报错关键词对号入座:
| 报错关键词 | 可能原因 | 处置动作 |
|---|---|---|
| CUDA out of memory | 分辨率/帧数/模型体积超出显存 | 依次试:分辨率 720p 降到 512p(如 832x480 改 480x480);帧数 81 帧降到 33 帧甚至 17 帧;WanVideoSetBlockSwap增加交换块数;换 FP8 或 GGUF 模型 |
| 找不到模型 / model not found | 模型文件放错目录或文件名与下拉框不一致 | 对照部署流程一节的三列表把文件挪到对应目录,重启 ComfyUI 刷新列表 |
| torch.compile 报错、首次运行显存异常飙升 | 旧 Triton 缓存作祟(Windows 尤甚) | 清空C:\Users\<用户名>\.triton与C:\Users\<用户名>\AppData\Local\Temp\torchinductor_<用户名>两个目录的内容后重跑;很多情况下同一输入再跑第二遍即自行恢复 |
现在就跑起来
重启 ComfyUI,把example_workflows/里的 T2V 示例拖进画布运行 🎬 —— 第一条 AI 视频离你只有这一次点击的距离。
下一步:固定一段提示词,只动WanVideo Sampler上的步数(20~30)、cfg(7~12)与 seed,观察画面变化,把参数和效果的对应关系变成自己的手感。
核心关键词:ComfyUI-WanVideoWrapper 教程
长尾关键词:ComfyUI-WanVideoWrapper 安装教程、WanVideo 文本转视频工作流、WanVideo 图像转视频示例、ComfyUI 音频驱动口型同步、WanVideo 显存优化 block swap、WanVideo 模型文件放置目录
【免费下载链接】ComfyUI-WanVideoWrapper项目地址: https://gitcode.com/GitHub_Trending/co/ComfyUI-WanVideoWrapper
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考