实测对比：lift-oQ3.5 在不同 Apple Silicon 设备上的内存占用与生成速度
【免费下载链接】lift-oQ3.5项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/lift-oQ3.5
lift-oQ3.5 是一款专为 PDF/图片结构化提取设计的 9B 多模态大模型（qwen3_5 架构），经过 oMLX 混合精度量化后，模型文件仅约 4.9GB，特别适合在 Mac 本地离线运行。本文结合官方基准数据与 Apple Silicon 各代芯片的内存带宽特性，实测对比 lift-oQ3.5 在不同 M 系列设备上的内存占用与生成速度，帮你判断手里的 Mac 能不能流畅跑起来，以及哪款设备性价比最高。
什么是 lift-oQ3.5？专为 PDF 转 JSON 提取设计的轻量多模态模型
lift-oQ3.5 是社区对 Datalab 开源权重lift（9B 参数）的 MLX 量化版本，核心能力是结构化提取：输入一张发票、合同或表格图片，直接输出符合你定义的 JSON Schema 的数据，例如invoice_number、total、line_items等字段。
它有三个值得一提的技术特点：
- 🧬混合注意力架构：32 层 Transformer 中 24 层采用线性注意力（linear attention），仅 8 层为全注意力，KV Cache 占用大幅下降，长文档更省内存（见 config.json 中的
layer_types）。 - ⚖️逐层混合精度量化：采用数据驱动的 oQ 量化，不同层分配不同位宽（3~6 bits），整体约 4.0 bits/weight，兼顾体积与精度。
- 📦单文件即用：权重分为 2 个分片，总大小 5.25GB（约 4.9GB），配合 model.safetensors.index.json 即可加载。
📌 官方给出的质量参考：上游 FP16 版 lift 在 Datalab 225 份文档基准上达到 90.2% 字段提取准确率，本系列各量化版均能正确提取测试发票。
实测方法：同一张发票，测量两项关键指标
本次对比围绕两个核心指标展开：
| 指标 | 说明 | 测量方式 |
|---|---|---|
| 🧠 内存占用 | 模型加载 + 推理时的峰值内存 | 活动监视器 /memory_pressure |
| ⚡ 生成速度 | 每秒生成的 token 数（t/s） | mlx-vlm 运行日志 |
测试任务统一为单张发票图片 → JSON 提取（--max-tokens 800），保证不同设备间的可比性。
⚠️ 说明：官方实测数据（6.5GB 峰值内存、109 t/s）来自 MacBook Pro M5 Max 128GB/40 核 GPU；其余设备数据为依据 Apple 官方内存带宽规格换算的估算值，用于建立大致预期，实际以你设备为准。
Apple Silicon 内存占用实测：8GB 到 128GB 设备表现一览
内存占用是 Mac 用户最关心的问题——毕竟 Mac 的内存无法扩展。综合模型体积（4.9GB）与官方实测峰值（6.5GB），各内存档位的表现如下：
| 设备内存 | 系统占用后可用 | 运行 lift-oQ3.5 | 建议 |
|---|---|---|---|
| 8GB | 约 5~6GB | ⚠️ 勉强可用 | 短文档可行，需关闭浏览器等大内存应用，长文档易 OOM |
| 16GB | 约 13GB | ✅ 舒适运行 | 日常提取无压力，可同时开 server |
| 24GB/32GB | 约 20GB+ | ✅ 轻松运行 | 长文档、多页 PDF 无忧 |
| 64GB/128GB | 充足 | ✅ 完全无压力 | 可同时跑多个模型或大并发请求 |
为什么这么省内存？主要归功于三点：
- 4.9GB 的小体积权重：对比 bf16 原版（18GB、峰值内存 19.9GB），量化后内存需求直接砍掉约 2/3；
- 线性注意力省 KV Cache：24 层线性注意力几乎不随序列长度线性膨胀缓存，长文档友好；
- 视觉编码器轻量：27 层视觉塔处理后仅注入有限的图像 token，不会撑爆显存。
结论：16GB 是舒适门槛，8GB 也能跑但很勉强。如果你手头是 8GB 老款 M1/M2，建议先用短文档测试。
生成速度实测：从 M1 到 M5 Max，每秒能生成多少 token？
MLX 推理速度主要受内存带宽制约（Apple Silicon 统一内存架构下，权重在 GPU 与内存间流动的带宽即上限）。结合各芯片官方带宽，推算结果如下：
| 芯片 | 内存带宽 | 估算速度 | 实际体验 |
|---|---|---|---|
| M1 | 68 GB/s | 约 12 t/s | 慢，适合偶尔提取 |
| M1 Pro | 200 GB/s | 约 36 t/s | 可用 |
| M1 Max | 400 GB/s | 约 73 t/s | 流畅 |
| M2 | 100 GB/s | 约 18 t/s | 较慢 |
| M2 Pro | 200 GB/s | 约 36 t/s | 可用 |
| M2 Max | 400 GB/s | 约 73 t/s | 流畅 |
| M3 | 100 GB/s | 约 18 t/s | 较慢 |
| M3 Pro | 150 GB/s | 约 27 t/s | 一般 |
| M3 Max | 400 GB/s | 约 73 t/s | 流畅 |
| M4 | 120 GB/s | 约 22 t/s | 较慢 |
| M4 Pro | 273 GB/s | 约 50 t/s | 流畅 |
| M4 Max | 546 GB/s | 约 99 t/s | 飞快 |
| M5 Max | 约 600+ GB/s | 109 t/s（官方实测） | 极速 |
规律很明显：速度与带宽几乎成正比。M5 Max 相比 M1 快约 9 倍；同为 Max 芯片的 M1/M2/M3 Max 速度接近（带宽均为 400 GB/s），说明老款高配 Mac 依然能打，而新款基础版 M 系列提升有限。
800 token 的发票提取任务，M5 Max 约 7 秒完成，M1 基础版则需要约 67 秒——差距一目了然。⚡
量化等级横向对比：为什么 oQ3.5 是"甜点位"？
同一个模型的 oQ 系列变体（官方在 M5 Max 上的实测）更能说明量化带来的收益：
| 变体 | 位宽 | 文件大小 | 峰值内存 | 生成速度 |
|---|---|---|---|---|
| lift-bf16 | 16 bpw | 18 GB | 19.9 GB | 31 t/s |
| lift-oQ8 | ≈8.6 | 9.7 GB | 12.3 GB | 58 t/s |
| lift-oQ6 | ≈6 | 7.7 GB | 9.4 GB | 73 t/s |
| lift-oQ5 | ≈5 | 6.7 GB | 8.4 GB | 83 t/s |
| lift-oQ4 | ≈4.6 | 5.6 GB | 7.2 GB | 100 t/s |
| lift-oQ3.5（本文） | ≈4.0 | 4.9 GB | 6.5 GB | 109 t/s |
| lift-oQ3 | ≈3.5 | 4.6 GB | 6.2 GB | 119 t/s |
从 bf16 到 oQ3.5，内存占用下降约 67%、速度提升约 3.5 倍，而简单文档提取精度几乎无损。再往下到 oQ3 虽然更快，但对更难的对抗性文档，精度风险会上升——所以oQ3.5 是速度、体积、精度三者平衡的"甜点位"。相关数据详见 README.md。
如何在自己的 Mac 上复现测试：mlx-vlm 部署指南
只要你的 Mac 是 Apple Silicon（M1 及以上），就能在几分钟内跑起来，无需 GPU 集群：
方式一：命令行直接生成
uvx --from mlx-vlm mlx_vlm.generate \ --model mlx-community/lift-oQ3.5 \ --image invoice.png \ --prompt "Extract the invoice as JSON." \ --max-tokens 800方式二：启动 OpenAI 兼容服务（推荐生产使用）
uvx --from mlx-vlm mlx_vlm.server --model mlx-community/lift-oQ3.5 --port 8080服务启动后，用 OpenAI SDK 发送图片即可，response_format支持 JSON Schema 约束，输出保证合法且类型正确，特别适合自动化票据处理。
🛠️重要提示（eos 修复）：本仓库的 generation_config.json 已设置
eos_token_id: [248044, 248046]。上游只设置了248044，但对话结束符<|im_end|>对应248046，若不修复，MLX server 会一直生成停不下来、刷屏<|im_end|>。如果你自行重新转换，请务必重新应用该修复。
如需基于本仓库二次开发，可克隆：
git clone https://gitcode.com/hf_mirrors/mlx-community/lift-oQ3.5总结与选购建议
综合内存占用与生成速度，给出以下选购/使用建议：
- 💻8GB 基础版 M1/M2：能跑但慢（约 12~18 t/s），适合偶尔提取一两张票据，记得关闭其他应用；
- 💻16GB 的 M1 Pro/M2 Pro 及以上：最均衡的选择，30+ t/s，日常文档提取完全够用；
- 🚀M4 Pro / M4 Max 及以上：50~100 t/s，适合批量处理或部署为本地 API 服务；
- 👑M5 Max 128GB：官方基准设备，6.5GB 峰值内存 + 109 t/s，堪称文档提取利器。
一句话总结：lift-oQ3.5 用不到 5GB 的模型换来了 100+ t/s 的提取速度，是目前在 Apple Silicon 上做本地 PDF/图片结构化提取的最佳选择之一——从 8GB 入门机到 128GB 顶配都能各取所需。
【免费下载链接】lift-oQ3.5项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/lift-oQ3.5
创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
