24GB Mac 也能免费生成音视频:ltx-2.5-mlx-q8 新手入门教程(附环境要求清单)
ltx-2.5-mlx-q8是 LTX-2.5 音视频生成模型的 MLX 量化版本,专为 Apple Silicon 优化:只需将 Gemma 文本编码器从 bf16 量化到 int8,整套模型在 24GB 统一内存的 Mac 上就能完整跑通,本地免费生成带声音的视频。本文将带你从零理清环境要求、看懂每个权重文件的用途,并给出一套可落地的运行方案。
一、它是什么?为什么 24GB Mac 也能跑 🎬
LTX-2.5 是 Lightricks 发布的文生视频(Text-to-Video)大模型,原生支持音视频同步生成(Text-to-Video + Audio)。它的组件很多:文本编码器、DiT 扩散主干、VAE 编解码器、vocoder 音频合成器、上采样器等。
问题在于:bf16 精度的 Gemma 文本编码器会撑出约24.8GB 的显存下限,直接超预算。而本项目 README.md 给出的解法非常克制——只把文本编码器量化到 int8:
| 组件 | bf16 原版 | 本项目(int8) |
|---|---|---|
| Gemma 文本编码器体积 | 23.8 GB | 13.6 GB |
| 整段生成峰值内存 | ~24.8 GB(超预算) | 14.6 ~ 15.4 GB✅ |
量化参数为int8、分组大小 64,且刻意保留了embed_tokens层为 bf16,以保住条件信号的质量。README 中给出的保真度指标:有效 token 位置的 connector 输出与 bf16 基线相比达到0.999820,在盲测 A/B 对比中被判定为可接受。
⚠️ 注意:量化后输出与 bf16 版本不是逐位一致——这是"另一条同样有效的生成轨迹",不要拿 SSIM/PSNR 这类指标去对比两版输出。
二、环境要求清单(对照检查)📋
开始之前,先对照下面这张表确认自己的机器:
| 项目 | 要求 | 说明 |
|---|---|---|
| 硬件 | Apple Silicon(M 系列芯片) | 本模型基于 MLX 框架,仅适配 Mac |
| 统一内存 | 24 GB(最低) | 峰值约 14.6~15.4GB,24GB 可留足余量 |
| 32GB 机器 | 同样适用 | 峰值约 15.4GB |
| 系统 | 较新版本的 macOS | 保证 MLX 与驱动正常 |
| 磁盘空间 | 建议预留 40GB+ | 含完整组件树与下载的 DiT |
| 使用许可 | 个人/非商业免费 | 年收入 ≥ 1000 万美元的公司商用需付费授权 |
💡一个关键认知:本仓库只包含"int8 编码器 + 配套组件",不包含量化版 DiT。DiT 是独立的另一条技术路线,托管在mlx-community/ltx-2.5-mlx-ditq8,你可以把 int8 编码器与 bf16 或 int8 的 DiT 自由组合(int8 编码器 + bf16 DiT 也是合法搭配)。
三、文件结构速览:每个权重是干什么的 📦
这个仓库是一棵"自洽的完整组件树",主要文件及职责如下:
- gemma4-12b-ltx-v1/:⭐核心主角,Gemma-4 12B 文本编码器(int8 量化,分片为
model-00001-of-00003.safetensors等 3 个分片),另有 config.json 可看到"bits": 8, "group_size": 64的量化配置 connector.safetensors:文本特征连接器,负责把编码器 49 个隐藏状态中的有效 token 传给 DiTvae_encoder.safetensors/ vae_decoder.safetensors:视频 VAE 的编码/解码- vae_diffusion_decoder.safetensors:扩散式解码器
- vae_decoder_pruna.safetensors:PrunaAI 的精简版视频解码器(可选加速件),见下文
- audio_vae.safetensors / vocoder.safetensors:音频 VAE 与音频合成器,声音就是从这里"长"出来的
- spatial_upscaler_x2_v1_1.safetensors:空间 2 倍上采样器(提升分辨率),配置见 spatial_upscaler_x2_v1_1_config.json
- temporal_upscaler_x2_v1_0.safetensors:时间 2 倍上采样器(增加帧数),配置见 temporal_upscaler_x2_v1_0_config.json
- duration_head.safetensors:时长预测头
- config.json:DiT 主干(
AVTransformer3DModel)架构配置,48 层、音视频双向交叉注意力 - embedded_config.json:内嵌的 transformer 与调度器(RectifiedFlowScheduler)完整配置
- LICENSE.md:LTX-2 社区许可协议
四、Pruna 解码器:让 24GB 机器更从容的隐藏大招 ⚡
README.md 用了一整节介绍 vae_decoder_pruna.safetensors,它来自 PrunaAI 的 PrunaVAED,是经过剪枝 + 蒸馏微调的"即插即用"版视频 VAE 解码器。收益很实在:
- 解码速度约快 2 倍,实测整段生成墙钟时间−15.9%
- 解码激活峰值大幅下降:704×512×121 场景下从21.1GB 降到 14.5GB,把原本超预算的运行拉回预算内
- 画质"几乎一致但非逐位精确"
在 Swift 推理端口中,通过LTX2Configuration.vaeDecoderPath或环境变量LTX_VAE_DECODER=pruna即可选用,在 low 档位(compact24、balanced32)上已被设为默认解码器。文件附有 SHA-256 校验值,下载后可自行校验完整性。
五、新手上手四步走 🚀
- 确认机器达标:对照上文环境清单,重点确认 24GB 统一内存 + Apple Silicon;
- 获取模型文件:直接下载本仓库全部组件(自洽的完整组件树):
git clone https://gitcode.com/hf_mirrors/mlx-community/ltx-2.5-mlx-q8同时按需获取 DiT 权重(int8 版在mlx-community/ltx-2.5-mlx-ditq8,bf16 版在mlx-community/ltx-2.5-mlx); - 选择推理方案:推荐使用支持本组件树的 MLX 推理端口(如
ltx-2-mlx-swift),它会自动从本仓库读取 int8 编码器及配套文件,并支持启用 Pruna 解码器; - 小尺寸先跑通:先用较小的分辨率和帧数验证全流程能出"带声音的视频",再逐步放大。记住峰值内存主要由"编码器 + DiT 流式化"决定,与视频几何尺寸关系不大(README 实测:256×256×9 与 512×288×121 的峰值几乎相同)。
六、许可协议:免费,但要看清边界 ⚖️
本项目遵循LTX-2 Community License(详见 LICENSE.md 与附带的使用政策快照 ltx-acceptable-use-policy-snapshot-2026-08-12.pdf)。给新手划三个重点:
- ✅个人使用完全免费:学习、实验、娱乐、个人创作均属非商业用途,无需付费;
- ⚠️商业公司有门槛:年收入 ≥ 1000 万美元的实体,用于生产/营收场景必须购买商业授权;
- 📌再分发须传播条款:二次分发或发布衍生权重时,必须附带原许可与使用限制。
七、常见问题 FAQ ❓
Q1:24GB Mac 跑的时候风扇狂转、内存告警怎么办?优先启用 Pruna 解码器(LTX_VAE_DECODER=pruna),并确认 DiT 走流式加载路径——README 明确提示:编码器量化与 DiT 流式化两个杠杆必须同时生效,单独只开一个不解决问题。
Q2:为什么生成结果和 bf16 版"看着像又不一样"?这是预期行为。换掉编码器会改变条件信号,从而改变整条采样轨迹,输出本来就是"另一条合法轨迹"。
Q3:能直接用来做商用产品吗?不能开箱即用。个人非商业用途免费;商业场景需按许可协议判断(收入门槛 + 付费许可),建议先阅读 LICENSE.md。
Q4:这个仓库里有 DiT 吗?没有。README 特别强调:本仓库不含量化 DiT,DiT 在mlx-community/ltx-2.5-mlx-ditq8单独维护,两轴独立、可自由混搭。
总结
ltx-2.5-mlx-q8 用"只量化文本编码器"这一最小改动,把 LTX-2.5 的峰值内存从 ~24.8GB 压到14.6~15.4GB,让 24GB 统一内存的 Mac 第一次真正免费跑起了音视频生成;再配合 Pruna 解码器,速度和内存还能再下一城。如果你正在用 Mac 做本地 AIGC,这套"小内存友好"的组件树值得放进你的工具箱 🛠️。
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考