一、前言:从“能动起来”到“知道怎么动”
前几篇主要解决了几个问题:
如何让图片按提示词运动;
如何处理复杂动作;
如何在 V100 16G 显存下完成文生视频和图生视频;
如何尽量逼近影视级画面。
但到了真正做镜头时,会发现一个更核心的问题:
T2V 和单图 I2V 能生成运动,但不一定能保证起点和终点。
比如你想做一个镜头:
开头是“孤舟蓑笠翁”;
结尾是“人物回望镜头”;
中间要有水面、雾气、风雪、镜头推进。
如果只靠提示词,模型可能会动,但最后不一定停在你想表达的位置。
所以第八篇引入Wan2.2-KJ 首末帧 I2V,重点不是“生成视频”,而是:
用首帧和末帧锁定叙事,用模型补全中间过程。
二、为什么选择 Wan2.2-KJ 首末帧 I2V
1. 首末帧 I2V 的价值
首末帧生成视频,本质上是给模型两个强约束:
首帧:决定镜头从哪里开始;
末帧:决定镜头到哪里结束;
提示词:决定中间如何运动、如何过渡。
它比单纯 T2V 更适合叙事,因为你可以提前设计:
镜头起点;
镜头终点;
人物姿态变化;
场景空间关系;
镜头运动轨迹。
2、核心差异对比
表格
| 对比维度 | KJ定制FP8版本 | 通用官方FP8版本 |
|---|---|---|
| 显存占用 | 更低,8G显卡可流畅跑LTX2.3等大视频模型 | 显存占用更高,8G显卡容易触发OOM |
| 适配优化 | 针对ComfyUI做了蒸馏裁剪,兼容KJNodes专属加载逻辑 | 通用标准FP8格式,无ComfyUI专属优化 |
| 运行速度 | 同硬件下生成速度更快,低显存场景优势明显 | 速度依赖原生硬件FP8算力,低显存场景易卡顿 |
| 细节表现 | 部分场景人物一致性、细节保留略弱于官方版 | 画面细节、人物一致性更接近原版FP16效果 |
适配场景差异
- KJ定制FP8版本:专门面向RTX 3060、RTX4060这类8G低显存显卡,无需大显存就能跑通大分辨率视频生成,是你当前16G Tesla V100环境下进一步降低显存压力的优选方案。
- 通用官方FP8版本:精度保留更完整,适合显存充足、追求画面细节一致性的场景,对硬件原生FP8算力依赖更高。
3. Wan2.2-KJ 的实战意义
Wan2.2-KJ 在 ComfyUI 中更适合做工程化交付,原因主要有三点:
支持首末帧控制,适合固定叙事结构;
I2V 流程相对成熟,便于搭建稳定工作流;
在有限显存下仍有可配置空间,适合 V100 16G 这类环境。
三、环境准备与模型加载
1、环境准备
和以前一样
2、模型下载:
我们先把模型下载地址提供给大家
wget -P /home/jjj/ComfyUI/models/diffusion_models https://hf-mirror.com/sisniha/wan2.2-kj/resolve/main/I2V/Wan2_2-I2V-A14B-HIGH_fp8_e4m3fn_scaled_KJ.safetensors
wget -P /home/jjj/ComfyUI/models/diffusion_models https://hf-mirror.com/sisniha/wan2.2-kj/resolve/main/I2V/Wan2_2-I2V-A14B-LOW_fp8_e4m3fn_scaled_KJ.safetensors
modelscope download --model Comfy-Org/CLIP-ViT-H-14-laion2B-s32B-b79K_repackaged split_files/clip_vision/CLIP-ViT-H-14-laion2B-s32B-b79K.safetensors --local_dir /home/jjj/ComfyUI/models
wget -P /home/jjj/ComfyUI/models/loras https://hf-mirror.com/Chroma111/CivitAI-Archive-2/resolve/main/1585622/2014449/Wan21_I2V_14B_lightx2v_cfg_step_distill_lora_rank64_fixed.safetensors
目录结构
📂 ComfyUI/ ├── 📂 models/ │ ├── 📂 text_encoders/ │ │ └── umt5_xxl_fp8_e4m3fn_scaled.safetensors │ ├── 📂 loras/ │ │ ├── wan2.2_i2v_lightx2v_4steps_lora_v1_low_noise.safetensors │ │ └── wan2.2_i2v_lightx2v_4steps_lora_v1_high_noise.safetensors │ ├── 📂 diffusion_models/ │ │ ├── wan2.2_i2v_high_noise_14B_fp8_scaled.safetensors │ │ └── wan2.2_i2v_low_noise_14B_fp8_scaled.safetensors │ │ └── Wan2_2-I2V-A14B-HIGH_fp8_e4m3fn_scaled_KJ.safetensors │ │ └── Wan2_2-I2V-A14B-LOW_fp8_e4m3fn_scaled_KJ.safetensors │ └── 📂 vae/ │ └── wan_2.1_vae.safetensors3. 首末帧图片要求
这是本篇最容易出问题的地方,需要重点强调:
首帧和末帧分辨率必须一致;
宽高建议保持一致;
画面主体位置不要差异过大;
人物结构要清晰;
避免首末帧同时包含极端复杂细节;
图片不要过大,否则会明显增加显存压力。
建议测试分辨率:
480P:优先保证跑通;
720P:在 16G 显存下作为高质量测试;
不建议一开始就上 1080P。
四、ComfyUI 工作流搭建(手搓)
1、模型加载区
一共加载了七个模型,两个lora模型是一样的。
2、提示词区
3、采样区
4、图片输入处理区
5、视频处理输出
工作流上传
6、显示显存峰值与运行总耗时
五、提示词设计:让中间过程有逻辑
1. 提示词结构
建议把提示词拆成四部分:
主体描述
例如:
孤舟,蓑笠翁,江面,雪景,冷色调
运动描述
例如:
人物缓慢抬头,衣袖随风轻微摆动
镜头运动
例如:
镜头从近景缓慢拉远,画面逐渐展开
环境与光影
例如:
雪花飘落,水面有细微波纹,雾气逐渐散开,远处山影显现
2. 推荐正面提示词示例
镜头缓慢拉远,孤舟平稳,人物微动,衣袖轻扬,雪花持续飘落,水面波纹自然展开,雾气向两侧散开,远山逐渐显现,冷蓝灰调,光影自然过渡,电影级构图,空间纵深感强,运动连续平滑。
3. 推荐负面提示词示例
变形,结构崩坏,人物扭曲,多余物体,水面沸腾,闪烁,突变色彩,画面撕裂,不自然运动,文字,水印,模糊。
4、V100 16G 推荐参数
项 | 值 |
|---|---|
分辨率 | 832×480 |
帧数 | 81(想省显存先 49) |
步数 | 4(LoRA 模式)/ 25(无 LoRA) |
CFG | 1.0(LoRA 模式)/ 7.0(无 LoRA) |
Shift | 8.0 |
量化 | fp8_e4m3fn_scaled |
LoRA strength | 1.0 起步,不稳就 0.8 |
wan2.2_00009
效果很差,如何解决,重新设置采样器,默认会出问题,如果已经按照前面设置了,就没啥问题
步长切法(总步数 4,不是各 4)
总 steps = 4
HIGH pass: start=0, end=2, add_noise=on, return_leftover=on
LOW pass: start=2, end=4(或10000), add_noise=off, return_leftover=off
修改之后视频产出,雪花像冰雹,太密集,通过提示词也无法改变。
video_ComfyUI_00009_
修改,上面忘了low的添加滤波了
0017
video_ComfyUI_00017_
步长设置:
严格按官方:总步数 4(2+2),最稳,速度最快
想保细节:可以 2 HIGH / 4 LOW(总 6 步),或 4 HIGH / 4 LOW(总 8 步)
低噪阶段多加步数对“人脸/水面/雪花”细节帮助最大
高噪阶段别加太多,高噪专家只负责建结构,加多了反而运动发僵
0027
wan2.2首尾帧_00027
六、直接使用模板
1、无lora
ComfyUI_00206_
2、有lora
207
ComfyUI_00207_
看起来和没有lora加速没有太大差异