检查本地是否有端口冲突
Ollama默认端口为11434,执行:
netstat -ano | findstr “11434”下载及安装
ollama 官网下载:https://ollama.com/download
下载后,默认 Install 安装即可,无需修改任何内容。安装完成后配置系统变量与path
系统变量——新建——(ollama模型的存储路径)
变量名:OLLAMA_MODELS
变量值:D:\OllamaModels
系统变量path——新建——(ollama.exe所在⽬录)
通常在下面路径中查找"C:\Users*\AppData\Local\Programs\Ollama"设置ollama开机非自启动
删除:
%APPDATA%\Microsoft\Windows\Start Menu\Programs\Startup
下快捷方式。
注意:配置完成后,重启电脑即生效,未重启电脑即下载模型使用的话,默认会下载在路径" C:\Users\ * .ollama\models",如果先配置环境变量未重启,模型下载到默认路径了,再次重启电脑后环境变量生效,可以采取默认路径下models文件夹删除的方式,可以节省C盘空间,后续下载模型都在OLLAMA_MODELS配置的路径下。
http://localhost:11434 查看ollama状态:
Ollama is running地址:https://ollama.com/library 查看ollama可下载模型
下载及使用
ollama常用指令
拉取模型:ollama pull <模型名>[:标签]
查看本地模型:ollama list
删除模型:ollama rm <模型名>[:标签]
复制模型:ollama cp <源模型名> <新模型名>
直接运行模型:ollama run <模型名>
单次提问:ollama run <模型名> “你的问题”
带参数运行:llama run <模型名> --temperature 0.7 --seed 42
查看模型信息:ollama show <模型名>
停止模型:ollama stop <模型名>测试
curl http://localhost:11434/api/generate -d ‘{
“model”: “qwen2:0.5b”,
“prompt”: “写一个简短的故事”,
“stream”: true
}’ -Nollama启动本地模型后,docker启动open webui可以直接使用
ollama启动本地模型:
开始——ollama启动——cmd中
ollama list
ollama ps
ollama run qwen2:0.5b
docker启动open webui:
镜像源:
docker pull ghcr.nju.edu.cn/open-webui/open-webui:main
启动命令:
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.nju.edu.cn/open-webui/open-webui:main
访问:
http://localhost:3000/