news 2026/11/5 8:34:51

【ComfyUI 国产模型炼丹记】第八篇:Wan2.2-KJ 首末帧I2V实战——V100 16G显存下的完整叙事与极限交付

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
【ComfyUI 国产模型炼丹记】第八篇:Wan2.2-KJ 首末帧I2V实战——V100 16G显存下的完整叙事与极限交付

一、前言:从“能动起来”到“知道怎么动”

前几篇主要解决了几个问题:

  • 如何让图片按提示词运动;

  • 如何处理复杂动作;

  • 如何在 V100 16G 显存下完成文生视频和图生视频;

  • 如何尽量逼近影视级画面。

但到了真正做镜头时,会发现一个更核心的问题:

T2V 和单图 I2V 能生成运动,但不一定能保证起点和终点。

比如你想做一个镜头:

  • 开头是“孤舟蓑笠翁”;

  • 结尾是“人物回望镜头”;

  • 中间要有水面、雾气、风雪、镜头推进。

如果只靠提示词,模型可能会动,但最后不一定停在你想表达的位置。

所以第八篇引入Wan2.2-KJ 首末帧 I2V,重点不是“生成视频”,而是:

用首帧和末帧锁定叙事,用模型补全中间过程。

二、为什么选择 Wan2.2-KJ 首末帧 I2V

1. 首末帧 I2V 的价值

首末帧生成视频,本质上是给模型两个强约束:

  • 首帧:决定镜头从哪里开始;

  • 末帧:决定镜头到哪里结束;

  • 提示词:决定中间如何运动、如何过渡。

它比单纯 T2V 更适合叙事,因为你可以提前设计:

  • 镜头起点;

  • 镜头终点;

  • 人物姿态变化;

  • 场景空间关系;

  • 镜头运动轨迹。

2、核心差异对比

表格

对比维度KJ定制FP8版本通用官方FP8版本
显存占用更低,8G显卡可流畅跑LTX2.3等大视频模型显存占用更高,8G显卡容易触发OOM
适配优化针对ComfyUI做了蒸馏裁剪,兼容KJNodes专属加载逻辑通用标准FP8格式,无ComfyUI专属优化
运行速度同硬件下生成速度更快,低显存场景优势明显速度依赖原生硬件FP8算力,低显存场景易卡顿
细节表现部分场景人物一致性、细节保留略弱于官方版画面细节、人物一致性更接近原版FP16效果

适配场景差异

  • ‌KJ定制FP8版本‌:专门面向RTX 3060、RTX4060这类8G低显存显卡,无需大显存就能跑通大分辨率视频生成,是你当前16G Tesla V100环境下进一步降低显存压力的优选方案。
  • ‌通用官方FP8版本‌:精度保留更完整,适合显存充足、追求画面细节一致性的场景,对硬件原生FP8算力依赖更高。

3. Wan2.2-KJ 的实战意义

Wan2.2-KJ 在 ComfyUI 中更适合做工程化交付,原因主要有三点:

  • 支持首末帧控制,适合固定叙事结构;

  • I2V 流程相对成熟,便于搭建稳定工作流;

  • 在有限显存下仍有可配置空间,适合 V100 16G 这类环境。

三、环境准备与模型加载

1、环境准备

和以前一样

2、模型下载:

我们先把模型下载地址提供给大家

wget -P /home/jjj/ComfyUI/models/diffusion_models https://hf-mirror.com/sisniha/wan2.2-kj/resolve/main/I2V/Wan2_2-I2V-A14B-HIGH_fp8_e4m3fn_scaled_KJ.safetensors

wget -P /home/jjj/ComfyUI/models/diffusion_models https://hf-mirror.com/sisniha/wan2.2-kj/resolve/main/I2V/Wan2_2-I2V-A14B-LOW_fp8_e4m3fn_scaled_KJ.safetensors

modelscope download --model Comfy-Org/CLIP-ViT-H-14-laion2B-s32B-b79K_repackaged split_files/clip_vision/CLIP-ViT-H-14-laion2B-s32B-b79K.safetensors --local_dir /home/jjj/ComfyUI/models

wget -P /home/jjj/ComfyUI/models/loras https://hf-mirror.com/Chroma111/CivitAI-Archive-2/resolve/main/1585622/2014449/Wan21_I2V_14B_lightx2v_cfg_step_distill_lora_rank64_fixed.safetensors

目录结构

📂 ComfyUI/ ├── 📂 models/ │ ├── 📂 text_encoders/ │ │ └── umt5_xxl_fp8_e4m3fn_scaled.safetensors │ ├── 📂 loras/ │ │ ├── wan2.2_i2v_lightx2v_4steps_lora_v1_low_noise.safetensors │ │ └── wan2.2_i2v_lightx2v_4steps_lora_v1_high_noise.safetensors │ ├── 📂 diffusion_models/ │ │ ├── wan2.2_i2v_high_noise_14B_fp8_scaled.safetensors │ │ └── wan2.2_i2v_low_noise_14B_fp8_scaled.safetensors │ │ └── Wan2_2-I2V-A14B-HIGH_fp8_e4m3fn_scaled_KJ.safetensors │ │ └── Wan2_2-I2V-A14B-LOW_fp8_e4m3fn_scaled_KJ.safetensors │ └── 📂 vae/ │ └── wan_2.1_vae.safetensors

3. 首末帧图片要求

这是本篇最容易出问题的地方,需要重点强调:

  • 首帧和末帧分辨率必须一致;

  • 宽高建议保持一致;

  • 画面主体位置不要差异过大;

  • 人物结构要清晰;

  • 避免首末帧同时包含极端复杂细节;

  • 图片不要过大,否则会明显增加显存压力。

建议测试分辨率:

  • 480P:优先保证跑通;

  • 720P:在 16G 显存下作为高质量测试;

  • 不建议一开始就上 1080P。

四、ComfyUI 工作流搭建(手搓)

1、模型加载区

一共加载了七个模型,两个lora模型是一样的。

2、提示词区

3、采样区

4、图片输入处理区

5、视频处理输出

工作流上传

6、显示显存峰值与运行总耗时

五、提示词设计:让中间过程有逻辑

1. 提示词结构

建议把提示词拆成四部分:

主体描述

例如:

孤舟,蓑笠翁,江面,雪景,冷色调

运动描述

例如:

人物缓慢抬头,衣袖随风轻微摆动

镜头运动

例如:

镜头从近景缓慢拉远,画面逐渐展开

环境与光影

例如:

雪花飘落,水面有细微波纹,雾气逐渐散开,远处山影显现

2. 推荐正面提示词示例

镜头缓慢拉远,孤舟平稳,人物微动,衣袖轻扬,雪花持续飘落,水面波纹自然展开,雾气向两侧散开,远山逐渐显现,冷蓝灰调,光影自然过渡,电影级构图,空间纵深感强,运动连续平滑。

3. 推荐负面提示词示例

变形,结构崩坏,人物扭曲,多余物体,水面沸腾,闪烁,突变色彩,画面撕裂,不自然运动,文字,水印,模糊。

4、V100 16G 推荐参数

项

值

分辨率

832×480

帧数

81(想省显存先 49)

步数

4(LoRA 模式)/ 25(无 LoRA)

CFG

1.0(LoRA 模式)/ 7.0(无 LoRA)

Shift

8.0

量化

fp8_e4m3fn_scaled

LoRA strength

1.0 起步,不稳就 0.8

wan2.2_00009

效果很差,如何解决,重新设置采样器,默认会出问题,如果已经按照前面设置了,就没啥问题

步长切法(总步数 4,不是各 4)

总 steps = 4
HIGH pass: start=0, end=2, add_noise=on, return_leftover=on
LOW pass: start=2, end=4(或10000), add_noise=off, return_leftover=off

修改之后视频产出,雪花像冰雹,太密集,通过提示词也无法改变。

video_ComfyUI_00009_

修改,上面忘了low的添加滤波了

0017

video_ComfyUI_00017_

步长设置:

  • 严格按官方:总步数 4(2+2),最稳,速度最快

  • 想保细节:可以 2 HIGH / 4 LOW(总 6 步),或 4 HIGH / 4 LOW(总 8 步)

    • 低噪阶段多加步数对“人脸/水面/雪花”细节帮助最大

    • 高噪阶段别加太多,高噪专家只负责建结构,加多了反而运动发僵

0027

wan2.2首尾帧_00027

六、直接使用模板

1、无lora

ComfyUI_00206_

2、有lora

207

ComfyUI_00207_

看起来和没有lora加速没有太大差异

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/11/3 16:35:00

一维生物:阅读理解中的复合隐喻解构方法论

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

作者头像 李华
网站建设 2026/11/3 12:56:01

AI 让编程更快了,为什么开发者的效率还是没提高?

如今,写出代码已经成了相对容易的那一步。 以前,记住语法是一件重要的事。**掌握多门编程语言,常常是拿得出手的本事。**你也需要不断练习,让自己用得更熟。 但到了今天,你会几门语言,已经没那么值得炫耀…

作者头像 李华
网站建设 2026/11/3 23:48:32

弱网环境录音总中断?选择录音工具要看什么

地下会场、山区采访点、封闭政企会场等场景,公网信号覆盖不均,容易出现录音进程挂起、音频片段丢失、转写内容断层的情况。弱网下录音中断的核心触发条件常规依赖云端链路的录音工具,启动前需完成网络连通校验,录制过程中音频流实…

作者头像 李华
网站建设 2026/11/4 4:25:55

服装AI质检多工位场景下,质检日志时间戳不同步问题如何解决?

1. 现状 在服装工厂部署 AI 质检系统时,往往不会只安装一台检测设备。随着产线规模扩大,质检工位可能多达十几个甚至几十个,每台设备都会独立产生质检日志。此时一个非常隐蔽但影响巨大的问题就会浮现出来:不同设备的时间戳不一致…

作者头像 李华
网站建设 2026/11/4 20:22:17

【单片机课程设计/毕业设计】基于单片机的婴儿床哭泣尿床温湿度心率监测系统设计 基于WIFI的智能婴儿床环境生理监测与哄睡装置设计(032705)

博主介绍:✌️码农一枚 ,专注于大学生项目实战开发、讲解和毕业🚢文撰写修改等。全栈领域优质创作者,博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于嵌入式单片机,Java、小程序技术领域和毕业项目实战 ✌️…

作者头像 李华
网站建设 2026/11/5 0:16:51

火焰辐射特性仿真全解析:从辐射传递方程到工程参数设置

"传热学仿真—主题076-火焰辐射特性",这个主题,说实在话,在燃烧仿真里属于那种不做不知道、一做就上头的内容。凡是跟炉膛、锅炉、发动机、热工装备打交道的人,迟早会碰到一个问题:高温火焰到底传递了多少热…

作者头像 李华