Ornith-1.0-35B-OptiQ-4bit震撼发布：苹果芯片专属的革命性视觉语言模型，65GB模型压缩至22GB仍保持卓越性能-平芜编程栈

Ornith-1.0-35B-OptiQ-4bit震撼发布：苹果芯片专属的革命性视觉语言模型，65GB模型压缩至22GB仍保持卓越性能

【免费下载链接】Ornith-1.0-35B-OptiQ-4bit项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/Ornith-1.0-35B-OptiQ-4bit

Ornith-1.0-35B-OptiQ-4bit是一款专为苹果芯片优化的革命性视觉语言模型，基于Qwen3.5-35B-A3B混合专家架构（256个专家，每个token激活8个）构建，通过4位混合精度MLX量化技术，将原本65GB的bf16权重压缩至仅22GB，同时保持了卓越的性能表现。

🔥 核心优势：小体积，大能力

✨ 突破性压缩技术

Ornith-1.0-35B-OptiQ-4bit采用了先进的OptiQ量化技术，通过智能分层精度分配实现了惊人的压缩比：

敏感层保持8位精度（共397层）
稳健层使用4位精度（共113层）
总量化层数达510层
实现4.513位/权重的平均精度
视觉塔保留bf16精度，确保图像输入能力不受损

这种混合精度策略使得模型在大幅减小体积的同时，最大程度保留了原始模型的推理能力和图像理解能力。

🖥️ 苹果芯片专属优化

专为Apple Silicon设计，充分利用MLX框架优势：

无需PyTorch，纯MLX原生实现
支持专家流技术，24GB内存Mac也能流畅运行
resident内存可低至4.58GB（使用--stream-experts选项）
32GB以上内存Mac可完全驻留模型，无需流式传输

🚀 快速开始

环境准备

首先确保您的苹果设备已安装必要依赖，然后通过以下命令安装OptiQ：

pip install mlx-optiq

克隆仓库

git clone https://gitcode.com/hf_mirrors/mlx-community/Ornith-1.0-35B-OptiQ-4bit cd Ornith-1.0-35B-OptiQ-4bit

启动服务

对于24GB内存设备，推荐使用专家流模式：

optiq serve --model . --stream-experts

对于32GB以上内存设备，可直接启动：

optiq serve --model .

服务启动后，您可以通过OpenAI兼容接口访问模型：http://127.0.0.1:8080/v1

💻 使用方法

纯文本交互

您可以使用Python代码与模型进行纯文本交互：

from mlx_lm import load, generate model, tokenizer = load(".") response = generate(model, tokenizer, prompt="解释什么是混合专家模型（MoE）。", max_tokens=512) print(response)

⚠️ 注意：mlx_lm.load会将整个模型加载到内存，在24GB Mac上可能较慢，建议优先使用optiq serve --stream-experts。

图像理解能力

Ornith-1.0-35B-OptiQ-4bit保留了完整的图像输入能力，您可以通过以下方式发送图像进行分析：

import base64, io, requests from PIL import Image # 读取并编码图像 buf = io.BytesIO() Image.open("your_image.jpg").save(buf, format="PNG") image_uri = "data:image/png;base64," + base64.b64encode(buf.getvalue()).decode() # 发送请求 response = requests.post("http://127.0.0.1:8080/v1/chat/completions", json={ "model": "ornith", "max_tokens": 256, "messages": [{ "role": "user", "content": [ {"type": "text", "text": "这张图片中有什么内容？"}, {"type": "image_url", "image_url": {"url": image_uri}} ] }] }) print(response.json())

图像处理能力由optiq/optiq_vision.safetensors文件提供支持，确保了视觉理解的准确性。

📊 量化细节

属性	数值
主要精度	4位
8位敏感层数量	397
4位稳健层数量	113
总量化层数	510
每权重平均位数	4.513
分组大小	64
专家数量	每层256个，每token激活8个
视觉塔	bf16，333个张量
磁盘大小	22GB（原始bf16模型为65GB）