【mac 私有化大模型】

mac 私有化大模型

Ollama安装

Ollama = 面向本地/私有部署的大模型运行时 + 模型管理器
封装了llama.cpp + Metal，并提供 OpenAI 风格 API

brew安装

brewinstallollama qp@qp-mac ~ % brewinstallollama==>Fetching downloads for: ollama ✔︎ Bottle ollama(0.13.5)[Downloaded10.8MB/10.8MB]==>Pouring ollama-0.13.5.arm64_sequoia.bottle.tar.gz==>Caveats To start ollama now and restart at login: brew services start ollama Or,ifyou don't want/need a backgroundserviceyou can just run:OLLAMA_FLASH_ATTENTION="1"OLLAMA_KV_CACHE_TYPE="q8_0"/opt/homebrew/opt/ollama/bin/ollama serve==>Summary 🍺 /opt/homebrew/Cellar/ollama/0.13.5:8files,30.1MB==>Running`brew cleanup ollama`... Disable this behaviour by setting`HOMEBREW_NO_INSTALL_CLEANUP=1`.Hide these hints with`HOMEBREW_NO_ENV_HINTS=1`(see`manbrew`).

配置局域网可以访问

exportOLLAMA_HOST=0.0.0.0:11434 brew services restart ollama

启动ollama

qp@qp-mac ~ % brew services start ollama==>Successfully started`ollama`(label: homebrew.mxcl.ollama)

默认端口：11434

验证

http://127.0.0.1:11434# orcurlhttp://127.0.0.1:11434/api/tags# orqp@qp-mac ~ %lsof-i -n -P|grepollama ollama43081qp 4u IPv4 0xc5e6c9b631d67461 0t0 TCP127.0.0.1:11434(LISTEN)ollama43081qp 9u IPv4 0xf2f010455ddbff8d 0t0 TCP127.0.0.1:11434->127.0.0.1:53521(ESTABLISHED)ollama43081qp 10u IPv4 0x9e8ee2687fbe3b7 0t0 TCP127.0.0.1:11434->127.0.0.1:53522(ESTABLISHED)

查看版本

ollama --version

brew 查看启动

brew services list

Ollama 拉取大模型

pull

ollama pull qwen2.5:7b pulling manifest pulling 2bada8a74506:100% ▕███████████████████████████████████████████████████████████████████████████████████▏4.7GB pulling 66b9ea09bd5b:100% ▕███████████████████████████████████████████████████████████████████████████████████▏68B pulling eb4402837c78:100% ▕███████████████████████████████████████████████████████████████████████████████████▏1.5KB pulling 832dd9e00a68:100% ▕███████████████████████████████████████████████████████████████████████████████████▏11KB pulling 2f15b3218f05:100% ▕███████████████████████████████████████████████████████████████████████████████████▏487B verifying sha256 digest writing manifest success

list

qp@qp-mac ~ % ollama list NAME ID SIZE MODIFIED qwen2.5:7b 845dbda0ea484.7GB6minutes ago

run

ollama run qwen2.5:7b qp@qp-mac ~ % ollama run qwen2.5:7b>>>你是谁 我是Qwen，一个由阿里云开发的语言模型助手。我旨在提供帮助和互动，解答用户的问题或进行对话。你可以问我任何问题或者和我聊天，我会尽力给你最好的 回答。>>>Use Ctrl + d or /bye to exit.>>>/bye

# 再次输入qp@qp-mac ~ %curlhttp://127.0.0.1:11434/api/tags{"models":[{"name":"qwen2.5:7b","model":"qwen2.5:7b","modified_at":"2026-01-09T09:14:34.15044164+08:00","size":4683087332,"digest":"845dbda0ea48ed749caafd9e6037047aa19acfcfd82e704d7ca97d631a0b697e","details":{"parent_model":"","format":"gguf","family":"qwen2","families":["qwen2"],"parameter_size":"7.6B","quantization_level":"Q4_K_M"}}]}

tips

1. 使用ollama run qwen2.5:7b是可以在终端中直接对话,这是一个 REPL 交互模式

   • 会占用当前终端
   • 关闭终端 / Ctrl+C 会话结束
   • 不适合长期服务或多用户

2. 接入webui 不需要ollama run

   Web UI / 程序调用Ollama，用的是 HTTP API，不是ollama run

   • ollama serve（或 brew service 启动）
   • 提供一个 长期运行的模型服务
   • 默认端口：11434
   • 只要 Ollama 服务在运行，Web UI 就能直接用。

配置 web-ui

docker 镜像拉取

dockerrun -d\--name open-webui\-p3000:8080\-eOLLAMA_BASE_URL=http://host.docker.internal:11434\--restart unless-stopped\ghcr.io/open-webui/open-webui:main

启动需要大改10分钟左右

# 本地访问 http:/127.0.0.1:3000 就可以了# 配置账号密码 admin 123123 就可以使用