ComfyUI-WanVideoWrapper 完整攻略:五关打通 WanVideo 文本转视频、图像转视频与口型同步
【免费下载链接】ComfyUI-WanVideoWrapper项目地址: https://gitcode.com/GitHub_Trending/co/ComfyUI-WanVideoWrapper
把一段描述丢进画布,点下「运行」,几分钟后原本只存在于文字里的画面开始流动——这就是 WanVideo 最直观的体验。ComfyUI-WanVideoWrapper 是一套把 WanVideo 系列视频大模型接入 ComfyUI 的自定义节点扩展,让你在 ComfyUI 画布内直接跑文本转视频、图像转视频和音频驱动口型同步,且新模型基本发布即有现成节点可用。这份教程带你从装好插件、放好模型开始,一路打通三种工作流,最后解决显存和报错问题。
Level 0:模型文件该放哪,一张表看清四个目录
先说结论:首次运行失败,多半不是参数错,而是模型放错了目录。装完插件后,对照下面这张表把四类模型各归各位:
| 文件是什么 | 放进哪个目录 | 负责什么 | 常见格式 |
|---|---|---|---|
| 文本编码器 | ComfyUI/models/text_encoders | 编码你的提示词 | .safetensors |
| CLIP Vision | ComfyUI/models/clip_vision | 读取输入图片内容 | .safetensors |
| 主视频模型 | ComfyUI/models/diffusion_models | 视频生成的核心引擎 | .safetensors / .gguf |
| VAE | ComfyUI/models/vae | 视频帧的编解码 | .safetensors |
动手前先确认环境达标:ComfyUI 能正常启动、Python 3.10 以上、显存 8GB 起步(4GB 可尝试但比较吃紧)、磁盘至少留 50GB 放模型。然后按顺序做两件事:
cd ComfyUI/custom_nodes git clone https://gitcode.com/GitHub_Trending/co/ComfyUI-WanVideoWrapperpip install -r ComfyUI-WanVideoWrapper/requirements.txtWindows 便携版用户,第二条命令换成:
python_embeded\python.exe -m pip install -r ComfyUI\custom_nodes\ComfyUI-WanVideoWrapper\requirements.txt这套 ComfyUI-WanVideoWrapper 安装教程到这一步其实就三件事:克隆、装依赖、摆模型。最后重启 ComfyUI,在节点搜索框输入 “WanVideo”,能搜出WanVideoTextEncode这类节点,说明插件加载成功,可以进下一关。
Level 1:第一个视频——跑通一条 WanVideo 文本转视频工作流
先给判断:不用自己接线,把现成工作流拖进来、改好提示词就能出片。项目的 example_workflows/ 目录里备好了完整工作流,文本转视频选example_workflows/wanvideo_2_1_14B_T2V_example_03.json即可。
节点链路是固定的:WanVideoTextEncode负责编码提示词,采样环节做去噪,WanVideoDecode把潜空间结果还原成画面帧。你要做的只有一件事——把提示词写具体,比如「一位红衣舞者在月光下的竹林中缓缓旋转,镜头慢慢推进」,然后点运行。
跑通之后可以动这三个参数建立手感:
| 参数 | 建议范围 | 影响什么 |
|---|---|---|
| 步数(steps) | 20~30 | 越大细节越多,速度越慢 |
| CFG | 7~12 | 越大越贴提示词,越大越容易崩 |
| 种子(seed) | 固定数值 | 固定后可复现同一结果 |
Level 2:静态图变动态镜头——WanVideo 图像转视频示例
I2V 的关键在于首帧要和提示词对得上。加载example_workflows/wanvideo_2_1_14B_I2V_example_03.json,工作流会先经WanVideoClipVisionEncode和WanVideoImageToVideoEncode把图片编码进潜空间,再汇入采样链路。
人像是最常见的用法,拿一张人物照片试试:
配上「穿红T恤的男子缓缓转向镜头,嘴角微微上扬」这类描述,静态照片立刻有了呼吸感。
物体图同样适用。比如这只抱着红玫瑰的小熊,提示词写「小熊轻轻点头,玫瑰花瓣在风中微微晃动」,出来就是一段很抓人的短片:
Level 3:让角色开口说话——ComfyUI 音频驱动口型同步三步接好
能不能跑通口型同步,取决于三步链路是否接对:音频提特征、生成嵌入、汇入采样。好消息是这三步在示例工作流里已经接好,你只需把图片和音频接上。
加载example_workflows/wanvideo_2_1_14B_HuMo_example_01.json,节点链与三步一一对应:先由WhisperModelLoader加载语音模型、提取音频特征;再由HuMoEmbeds把特征变成面部动作嵌入;最后WanVideoCombineEmbeds把嵌入与图像编码合并,喂给采样器。
人像图配一段几秒的配音,输出的就是嘴型与声音对齐的说话视频。example_workflows/example_inputs/里还备了woman.wav音频,可以直接拿来做第一次测试;虚拟主播、课程视频这类需求,这条工作流基本是开箱即用。
Level 4:8GB 显存跑 14B 的三件武器
先给判断:显存不够不用牺牲模型规模,三个开关按层次叠加就能把 14B 跑起来。
- block swap(主力):
WanVideoSetBlockSwap节点让模型的注意力块按顺序轮流进出显存,14B 在 8GB 显存上也能跑。它像接力赛里传棒:每个块跑完自己那一段就交出去,而不是所有人同时站在赛道上。block 列表可写0-5或0,2,3-5,交换的块越多显存越省,代价是速度变慢。 - FP8 或 GGUF 量化模型:量化后显存占用大约降 40%,观感损失在可接受范围,适合第一次试跑。GGUF 格式由插件 gguf/ 模块支持,同样放进
models/diffusion_models即可。 - radial attention:长视频场景下,
WanVideoSetRadialAttention让注意力聚焦在每帧的邻近区域,砍掉长序列的冗余计算,数百帧的长镜头才扛得住。
三者的使用顺序建议固定:先把分辨率从 720p 降到 512p、帧数从 33 减到 17;再开 block swap;最后才考虑换量化模型。
Level 5:三个最容易卡住的报错,对照三招解决
新手最容易停住的三个报错基本就是下面这些,先给一张速查表:
| 报错表现 | 大概率原因 | 处理动作 |
|---|---|---|
| CUDA out of memory | 显存超限 | 按顺序:降分辨率 → 减帧数 → block swap 多换几个块 → 换 FP8 模型 |
| 提示找不到文件 / 模型未找到 | 模型放错目录 | 对照 Level 0 的目录表挪到对应文件夹,确认文件名与节点选择一致 |
| torch.compile 相关报错,Windows 首次运行显存飙升 | 旧的 Triton 缓存在作祟 | 清掉C:\Users\<用户名>\.triton和temp\torchinductor_<用户名>里的缓存后重跑;同样的输入再跑一遍往往也会恢复 |
OOM 的问题绝大多数在前三步就能解决,不用急着换模型。
出关之后:用运动与相机控制组合出自己的流水线
三种工作流跑通后,下一步是把控制类节点接进现有工作流。想让物体的轨迹精确可控,用example_workflows/wanvideo_2_1_14B_WanMove_I2V_example_01.json逐点指定运动轨迹;想要镜头推拉摇移,加载 ReCamMaster 示例example_workflows/wanvideo_2_1_14B_ReCamMaster_example_01.json,普通片段立刻有了导演视角。
学习路径的最后一段建议读源码:先看 nodes.py 里NODE_CLASS_MAPPINGS的节点注册表怎么组织,再看 nodes_model_loading.py 的模型加载逻辑,读完就具备自己写小节点的能力了。
现在重启 ComfyUI,把第一条示例工作流拖进画布,点下「运行」——你的第一条 AI 视频只差这一次点击。🎬
核心关键词:ComfyUI-WanVideoWrapper 教程
长尾关键词:ComfyUI-WanVideoWrapper 安装教程、WanVideo 文本转视频工作流、WanVideo 图像转视频示例、ComfyUI 音频驱动口型同步、WanVideo 显存优化 block swap、WanVideo 模型文件放置目录
【免费下载链接】ComfyUI-WanVideoWrapper项目地址: https://gitcode.com/GitHub_Trending/co/ComfyUI-WanVideoWrapper
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考