ComfyUI-LTXVideo 完整指南:5 分钟跑通 LTX-2 视频生成,显存优化与参数配置一次讲清
【免费下载链接】ComfyUI-LTXVideoLTX-Video Support for ComfyUI项目地址: https://gitcode.com/GitHub_Trending/co/ComfyUI-LTXVideo
ComfyUI-LTXVideo 是面向 Lightricks LTX-2 视频生成模型的 ComfyUI 自定义节点合集。LTX-2 本身已内置在 ComfyUI 核心里,这个项目补齐了进阶控制与配套工作流:深度/边缘控制的视频到视频、HDR 转换、台词替换、大画布无接缝输出等。本文写给刚接触 ComfyUI 的用户,读完你能生成第一条 AI 视频,并掌握最常用的节点与参数。
它都能做什么:一张图看懂从文到视频、从图到声音
LTX-2 是一个约 22B 参数的音视频联合模型,一个权重同时负责画面和声音。ComfyUI-LTXVideo 围绕它提供从生成到编辑的全套工具,先看能力地图。
基础生成:文生视频、图生视频、文生音频
官方示例工作流分 2.0、2.3、2.5 三套,新版工作流默认带音频输出:
- 文生视频 / 图生视频:有单阶段(快)和两阶段(低清先生成,再 2× 空间放大加一次短 refine,细节更好)
- 文生音频:
LTXVAudioOnlyModel把模型切到纯音频模式,LTXVAudioVAEDecode解码后用内置 Save Audio 节点存成 FLAC - 音频到视频:2.5 的 A2V 工作流会锁定输入片段的音频 token,并把原始波形直接混流进输出
IC-LoRA:一套控制 LoRA,多种玩法
IC-LoRA 是专门学过"读控制条件"的 LoRA——给它深度图、边缘图、姿态序列甚至一段原始视频,生成就会被这些条件牵着走。仓库里现成的玩法很多:
| 场景 | 输入 | 效果 | 参考工作流 |
|---|---|---|---|
| Union IC-LoRA | 深度 / 边缘 / 姿态 | 一个 LoRA 通吃多种控制条件 | example_workflows/2.3/LTX-2.3_ICLoRA_Union_Control_Distilled.json |
| 运动轨迹 | 首帧 + 画的轨迹线 | 主体沿你画的路径移动 | example_workflows/2.5/LTX-2.5_ICLoRA_Motion_Track_Distilled.json |
| 修补 Inpaint | 视频 + 遮罩 | 只重画遮罩区域 | example_workflows/2.5/LTX-2.5_ICLoRA_Inpaint_Two_Stage_Distilled.json |
| 扩画 Outpaint | 原视频 | 向四周扩大画面 | example_workflows/2.5/LTX-2.5_ICLoRA_Outpaint_Two_Stage_Distilled.json |
| Dub-It 换台词 | 视频 + 新对白文本 | 重生成口型与声音,保留说话人身份,支持跨语言 | example_workflows/2.3/LTX-2.3_ICLoRA_DubIt_Two_Stage_Distilled.json |
| SDR 转 HDR | 普通视频 | 输出 ACEScct HDR,可导出 EXR / HLG | example_workflows/2.5/LTX-2.5_V2V_TiledFusion_SDR_to_HDR.json |
| 像素上采样 | 低清视频 | 2× / 4× 生成式放大,合成细节而非插值 | example_workflows/2.3/LTX-2.3_ICLoRA_Pixel_Spatial_Upscaler_Distilled.json |
| 趣味编辑 | 视频 | 昼转夜、瞬间剃须、上色、去模糊等 | example_workflows/2.5/LTX-2.5_V2V_ICLoRA_Single_Stage_Distilled.json |
另有 dolly-in / dolly-out、摇臂升降等一组运镜 LoRA,装进models/loras后即可用。HDR 链路由LTXVHDRDecodePostprocess把 LogC3 压缩帧还原成线性 HDR,同时给出 Reinhard 映射的 SDR 预览;依赖openimageio写 16/32-bit EXR 序列,LTXVSaveHLG直接出 HLG 母版。
提示词方面,LTXVGemmaEnhancePrompt和LTXVPromptEnhancer可以调用本地 Gemma 3 把你的一句话扩写成结构化描述,system_prompts/ 里附带 T2V 与 I2V 两套系统提示词。
大画布与长视频:超出训练窗口也能出片
LTXVTiledFusionSampler:画布比模型训练窗口大时,用重叠瓦片逐步融合,无接缝出 FullHD / 4K / 8KLTXVLoopingSampler:长视频按时序切片、重叠衔接,每段还能换提示词LTXVTiledSampler/LTXVTiledVAEDecode:单纯想分块采样、分块解码时用
十分钟从零开始:安装并跑通第一条视频
环境要求与安装
- 装好 ComfyUI
- CUDA GPU,显存 32GB 起步
- 100GB 以上磁盘空间放模型和缓存
两条安装路线:
路线一(推荐):ComfyUI 里按 Ctrl+M 打开 Manager → Install Custom Nodes → 搜索 "LTXVideo" → Install → 重启 ComfyUI。之后节点都挂在 "LTXVideo" 分类下,显示名带 🅛🅣🅧 前缀。
路线二:手动克隆进 custom_nodes 目录:
cd ComfyUI/custom_nodes git clone https://gitcode.com/GitHub_Trending/co/ComfyUI-LTXVideo ComfyUI-LTXVideo克隆完重启即可。第三方依赖(diffusers、kornia、openimageio、transformers 等)都写在 requirements.txt,启动报缺包时先装它。
💡 提示:首次打开工作流时,Workflow Overview 面板会列出 Missing Models,点 "Download all" 就把文件下到对应的 models/ 子目录,只需做一次。
五步出片
- Workflow → Open,加载
example_workflows/2.5/LTX-2.5_T2V_I2V_Two_Stage_Distilled.json,也可以直接拖进画布 - 在 Workflow Overview 面板补齐缺失模型
- 在左侧 Inputs 填提示词,可选提供首帧图
- 检查帧数:必须是 1 加 8 的整数倍,工作流默认 97 帧
- 点 Run,输出的视频自带音轨
想快一点,就换单阶段工作流 LTX-2.5_T2V_I2V_Single_Stage_Distilled.json:少一遍上采样,速度快,细节略弱。
模型文件放哪里
| 模型 | 放置目录(ComfyUI 根下) |
|---|---|
| 22B 主 checkpoint(dev 或 distilled 二选一) | models/checkpoints |
| 空间 / 时间上采样器 | models/latent_upscale_models |
| 各类 IC-LoRA 与控制 LoRA | models/loras |
| Gemma 3 12B 文本编码器(整个仓库文件) | models/text_encoders/gemma-3-12b-it-qat-q4_0-unquantized |
具体文件名以 README 的 Required Models 一节为准,按你要跑的工作流取对应条目即可。
最常用节点详解:四个值得记住的
LTXAddVideoICLoRAGuide:控制生成的"方向盘"
所有 IC-LoRA 工作流都从它开始:把控制帧(深度、边缘、姿态或原始视频)连同噪声掩码附加到 latent 上,模型才知道要照着什么画。两个开关要分清:
use_tiled_encode:配合 Tiling Fusion 时必须保持关闭,空间分块编码会把网格印进条件use_streaming:片段超过模型窗口时打开,且tile_frames常设为 97,要与采样器一致
LowVRAM 加载器:32GB 显存刚刚好
LowVRAMCheckpointLoader、LowVRAMAudioVAELoader、LowVRAMLatentUpscaleModelLoader和原生加载器长得很像,唯一区别是多了一个dependencies输入。把上一个加载器的输出接进来,模型就严格按顺序逐个加载、用完卸载,峰值显存降下来——官方说明这套流程 32GB 显存可以完整跑。启动 ComfyUI 时再留一点显存给系统:
python -m main --reserve-vram 5LTXVQ8Patch:量化省显存
把注意力与前馈层压到 8-bit,预设可选 0.9.8、ltxv2、full_bf16,或 custom 模式下单独开关 self-attn / cross-attn / FFN 的量化,还能额外开 FP8 注意力。它依赖q8_kernels包,节点第一次报 ImportError 时执行:
pip install q8_kernels💡 提示:量化后如果发现画面出现轻微色偏或细节差异,先换full_bf16预设对比一次,再决定哪一层可以安全量化。
LTXVTiledFusionSampler:8K 画布不出缝
它解决的是"画布比训练窗口大"的问题:每个去噪步骤都在一组重叠空间瓦片上跑模型,再用高斯融合把结果写回同一块 latent 画布,全程共用一个噪声场,瓦片轨迹一致,所以不会拼出缝。
用法上和LTXVGetTilingSizes配对——后者直接给出合法的画布、瓦片尺寸与tile_frames组合,不用自己算。example_workflows/2.5/下有三个现成图:上采样细节增强、FullHD 起跳原生 4K/8K、SDR 转 HDR。
参数速查表:值得记住的数字
Tiling Fusion 关键参数
| 参数 | 推荐值 | 说明 |
|---|---|---|
| tile_width / tile_height | 等于 LoRA 训练窗口,32 的倍数 | 瓦片太小,内容会以错误比例被"看见" |
| overlap_frac | ≥ 0.5 | 低于 0.5 在结构纹理上出现周期性网格 |
| blend_var | 0.05(默认) | 高斯重叠区的方差 |
| grid_cycle | 1(最省) | 4 = 每一步换一次网格位置 |
| tile_frames | 97(0 = 整段) | 大于 0 时,guide 节点需开use_streaming且同值 |
完整规则见 tiled_fusion_sampler.md。
采样与帧数
| 项 | 推荐 | 说明 |
|---|---|---|
| width / height | 32 的倍数 | LTXVBaseSampler默认 768×512 |
| num_frames | 97 | 1 + 8 的整数倍 |
| 采样器 | euler 等离散步长法 | 自适应采样器不能用于 Fusion |
| 两阶段 refine | 3 步 | 低清 → 2× 上采样 → 短 refine |
| 解码 tile | 显存富余就调大 | 更少更大的 tile 更快,但更吃显存 |
长视频 LTXVLoopingSampler
| 参数 | 默认 | 范围 |
|---|---|---|
| temporal_tile_size | 80 | 24–1000,步长 8 |
| temporal_overlap | 24 | 16–80 |
| temporal_overlap_cond_strength | 0.5 | 0.0–1.0 |
| horizontal / vertical_tiles | 1 | 各自 1–6 |
| spatial_overlap | 1 | 1–8(latent 像素) |
首片比temporal_tile_size多一帧,之后每片新增temporal_tile_size − temporal_overlap帧;想分段换提示词接MultiPromptProvider。更多参数看 looping_sampler.md。
常见问题:卡住时先查这里
节点没出现,或启动报导入错误
先确认目录名:克隆后路径应为 ComfyUI/custom_nodes/ComfyUI-LTXVideo,且包根目录里有__init__.py。然后完全重启 ComfyUI,别只刷浏览器。还不行就看启动日志缺了哪个第三方包,pip install -r requirements.txt补一次。
显存不够(OOM)
按代价从低到高:
- 把普通加载器换成 LowVRAM 系列,
dependencies串成链 - 启动加
--reserve-vram 5,再不够就加大 - 开
LTXVQ8Patch量化 - 降分辨率、帧数或画布尺寸
- 跑 Tiling Fusion 时记住:峰值显存取决于瓦片大小和时间窗口,不是整块画布
生成速度慢
- 换 distilled 蒸馏模型:步数大幅减少,质量基本保持
- 用单阶段工作流代替两阶段
- 上 Q8 量化,必要时叠加 FP8 注意力
- 先低分辨率、短帧数确认效果,满意后再提规格出成片
出现网格、接缝或前后段不一致
网格纹优先查overlap_frac是否小于 0.5;网格被"印"进画面则检查 guide 节点的use_tiled_encode是否误开。时间方向接缝确认 guide 与采样器的tile_frames相同。段与段之间色调漂移,可以接LTXVAdainLatent(factor 控制混合强度,per_frame 逐帧对齐)或LTXVStatNormLatent(把 latent 均值方差拉到参考值),把新瓦片拉回参考段的统计分布。
进阶与生态:从会用参与到共建
建议的阅读顺序
- low_vram_loaders.py:
dependencies输入如何强制顺序加载 - tiled_fusion_sampler.md 与 tiled_fusion_sampler.py:一块画布、一个噪声场的融合逻辑
- looping_sampler.md:长视频参数体系
- tricks/:注意力缓存、latent guide、修正采样器等实验节点,菜单里带 (Experimental 🧪) 标记
写自己的节点
本项目的节点用@comfy_node(name=...)装饰器注册,新建一个 .py 文件放进包内,重启后就会出现在菜单里,显示名自动加 🅛🅣🅧 前缀;加experimental=True可标记为实验节点。写法与标准 ComfyUI 自定义节点一致,照着现有文件仿写就能出第一个自己的节点。
往哪儿走
LTX-2 迭代很快,新的 IC-LoRA、HDR 管线和更高分辨率窗口持续加入,这个项目的价值就是把它们变成可插拔的节点和工作流。建议先用透example_workflows/里的图,再顺着本文的阅读顺序读源码;有想法就提 issue 或 PR,节点体系门槛不高,一个小工具也能被社区用得上。
【免费下载链接】ComfyUI-LTXVideoLTX-Video Support for ComfyUI项目地址: https://gitcode.com/GitHub_Trending/co/ComfyUI-LTXVideo
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考