news 2026/10/27 1:43:54

Ollama 服务部署常见配置修改

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
Ollama 服务部署常见配置修改

目录

前言

1. 外部无法访问Ollama服务接口

1.1 检查 Ollama 服务状态

1.2 验证 Ollama API 是否可访问

1.3 常见解决方案

方案 A: 检查 Ollama 绑定地址

方案 B: 通过环境变量启动

1.4 Ollama 服务常见命令

2. 设置 Ollama 加载的模型常驻内存

方法1:设置环境变量(推荐)

方法2:设置模型特定的保持时间

方法3:使用 API 设置模型常驻

参数说明:

3. 设置模型预加载

方法一:创建启动后脚本

方法二:创建专门的systemd服务

方法三:修改现有服务


前言

使用 curl -fsSL https://ollama.com/install.sh | sh 命令部署安装 Ollama 服务。

1. 外部无法访问Ollama服务接口

localhost (127.0.0.1) 可以访问,而局域网 IP (如:192.168.0.131) 无法访问。

这通常是 Ollama 默认只绑定到 localhost 接口导致的。

以下是详细的排查步骤和解决方案:

1.1 检查 Ollama 服务状态

# 在 Ollama 所在的服务器上检查服务状态 systemctl status ollama # 或 sudo service ollama status # 如果服务未运行,启动它 sudo systemctl start ollama # 或 sudo service ollama start

1.2 验证 Ollama API 是否可访问

# 在 Ollama 服务器上测试 API curl http://localhost:11434/api/tags # 或在 Dify 服务器上测试 curl http://192.168.0.131:11434/api/tags

执行 curl http://localhost:11434/api/tags 正常访问

执行 curl http://192.168.0.131:11434/api/tags 报错:

1.3 常见解决方案

方案 A: 检查 Ollama 绑定地址

默认情况下 Ollama 只绑定到 127.0.0.1,需要修改配置:

# 1. 停止 Ollama 服务 sudo systemctl stop ollama # 2. 编辑环境变量文件 sudo nano /etc/systemd/system/ollama.service # 3. 在 [Service] 部分添加 Environment="OLLAMA_HOST=0.0.0.0:11434" Environment="OLLAMA_ORIGINS=*" # 4. 重新加载并启动 sudo systemctl daemon-reload sudo systemctl start ollama # 5. 验证监听地址 netstat -tlnp | grep 11434 # 应该显示 0.0.0.0:11434 而不是 127.0.0.1:11434

方案 B: 通过环境变量启动

# 临时设置 export OLLAMA_HOST=0.0.0.0:11434 ollama serve # 或创建 systemd 配置文件 sudo mkdir -p /etc/systemd/system/ollama.service.d/ sudo nano /etc/systemd/system/ollama.service.d/override.conf

添加内容:

[Service] Environment="OLLAMA_HOST=0.0.0.0:11434" Environment="OLLAMA_ORIGINS=*"

然后重启:

# 重新加载 systemd 并重启服务 sudo systemctl daemon-reload sudo systemctl restart ollama

1.4 Ollama 服务常见命令

# 1. 停止所有ollama相关进程 sudo systemctl stop ollama pkill -9 ollama # 2. 重新加载systemd配置 sudo systemctl daemon-reload # 3. 使用systemd启动ollama服务 sudo systemctl start ollama # 4. 检查服务状态 sudo systemctl status ollama # 5. 设置开机自启 sudo systemctl enable ollama # 6. 查看服务日志 sudo journalctl -u ollama -f # 7. 重启ollama服务 sudo systemctl restart ollama # 8. 验证端口监听情况 sudo netstat -tlnp | grep 11434

2. 设置 Ollama 加载的模型常驻内存

要让 Ollama 模型保持常驻内存(UNTIL 为 Forever),需要调整 Ollama 的配置。以下是几种方法:

方法1:设置环境变量(推荐)

临时设置(当前会话有效):

export OLLAMA_KEEP_ALIVE="24h" # 24小时 # 或者设置为永久 export OLLAMA_KEEP_ALIVE="-1" # 重启 ollama 服务 sudo systemctl restart ollama

永久设置(修改 systemd 配置):

# 编辑服务配置文件 sudo nano /etc/systemd/system/ollama.service

添加以下内容(如果已经有内容就添加新的环境变量):

[Service] Environment="OLLAMA_HOST=0.0.0.0" Environment="OLLAMA_ORIGINS=*" Environment="OLLAMA_KEEP_ALIVE=-1"

然后:

# 重新加载并重启 sudo systemctl daemon-reload sudo systemctl restart ollama

方法2:设置模型特定的保持时间

# 在拉取或运行模型时指定保持时间 ollama pull --keep-alive -1 qwen3:14b # 或者 ollama run --keep-alive 24h qwen3:14b

方法3:使用 API 设置模型常驻

# 通过 API 加载模型并设置保持时间 curl -X POST http://localhost:11434/api/generate \ -H "Content-Type: application/json" \ -d '{ "model": "qwen3:14b", "prompt": "Hello", "stream": false, "keep_alive": -1 }'

参数说明:

  1. OLLAMA_KEEP_ALIVE=-1: 永久保持模型在内存中

  2. OLLAMA_KEEP_ALIVE="24h": 保持24小时

  3. OLLAMA_KEEP_ALIVE="30m": 保持30分钟

3. 设置模型预加载

可以通过以下方法实现在Ollama服务启动时自动预加载模型。

方法一:创建启动后脚本

3.1 创建预加载脚本:

sudo nano /etc/systemd/system/ollama-preload.sh

3.2 添加以下内容:

#!/bin/bash # 等待ollama服务完全启动 sleep 5 # 预加载qwen3:14b模型 curl -X POST http://localhost:11434/api/generate \ -H "Content-Type: application/json" \ -d '{ "model": "qwen3:14b", "prompt": "ping", "stream": false, "options": { "num_predict": 1 } }' > /dev/null 2>&1 # 预加载quentinz/bge-large-zh-v1.5:latest模型 curl -X POST http://localhost:11434/api/generate \ -H "Content-Type: application/json" \ -d '{ "model": "quentinz/bge-large-zh-v1.5:latest", "prompt": "ping", "stream": false, "options": { "num_predict": 1 } }' > /dev/null 2>&1 echo "Models preloaded at $(date)" >> /var/log/ollama-preload.log

3.3赋予执行权限

sudo chmod +x /etc/systemd/system/ollama-preload.sh

3.4 修改systemd服务文件:

sudo nano /etc/systemd/system/ollama.service

在[Service]部分添加:

ExecStartPost=/etc/systemd/system/ollama-preload.sh

方法二:创建专门的systemd服务

3.1 创建独立的服务文件:

sudo nano /etc/systemd/system/ollama-preload.service
[Unit] Description=Preload Ollama Models After=ollama.service Requires=ollama.service [Service] Type=oneshot User=ollama Group=ollama ExecStart=/usr/local/bin/ollama run qwen3:14b "ping" ExecStart=/usr/local/bin/ollama run quentinz/bge-large-zh-v1.5:latest "ping" RemainAfterExit=yes Environment="PATH=/usr/local/bin:/usr/bin:/bin" [Install] WantedBy=multi-user.target

3.2 启用这个服务:

sudo systemctl daemon-reload sudo systemctl enable ollama-preload.service

方法三:修改现有服务

直接修改ollama.service,在ExecStart后添加预加载命令:

[Service] ExecStart=/usr/local/bin/ollama serve ExecStartPost=/bin/bash -c 'sleep 10 && /usr/local/bin/ollama run qwen3:14b "ping" > /dev/null 2>&1 &' ExecStartPost=/bin/bash -c 'sleep 15 && /usr/local/bin/ollama run quentinz/bge-large-zh-v1.5:latest "ping" > /dev/null 2>&1 &'

无论选择哪种方法,最后都需要:

1. 重新加载systemd配置:

sudo systemctl daemon-reload

2. 重启ollama服务:

sudo systemctl restart ollama

3. 检查日志:

sudo journalctl -u ollama -f


版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/10/23 17:21:38

支持高亮显示的中文NER服务|AI智能实体侦测镜像详解

支持高亮显示的中文NER服务|AI智能实体侦测镜像详解 1. 引言:从信息过载到精准提取,中文NER的现实需求 在当今信息爆炸的时代,非结构化文本数据——如新闻报道、社交媒体内容、企业文档和客服对话——正以前所未有的速度增长。然…

作者头像 李华
网站建设 2026/10/26 15:38:50

人名地名机构名自动标注|试试这款Cyberpunk风NER工具

人名地名机构名自动标注|试试这款Cyberpunk风NER工具 1. 背景与需求:信息爆炸时代的实体识别挑战 在当今信息爆炸的时代,新闻、社交媒体、企业文档等非结构化文本数据呈指数级增长。如何从这些海量文本中快速提取出关键信息——如人名&…

作者头像 李华
网站建设 2026/10/26 15:04:58

挖洞经验之一个绕过某SRC厂商三处XSS过滤的payload

前言 在某次src的漏洞挖掘过程中&#xff0c;发现了一个payload绕过了三处xss过滤&#xff0c;个人觉得还是挺有意思的&#xff0c;所以记录一下。 从一个被忽略的self xss说起 在某页面信息如下&#xff0c;我决定对回复内容进行xss测试&#xff1a;插入一个<img/src1>以…

作者头像 李华
网站建设 2026/10/22 3:23:52

从文本中精准提取关键信息|RaNER模型实战应用

从文本中精准提取关键信息&#xff5c;RaNER模型实战应用 在当今信息爆炸的时代&#xff0c;非结构化文本数据呈指数级增长。新闻报道、社交媒体内容、企业文档等海量文本中蕴藏着大量有价值的信息&#xff0c;但如何高效地从中提取出关键实体&#xff08;如人名、地名、机构名…

作者头像 李华
网站建设 2026/10/22 17:49:32

MiDaS模型实战案例:宠物照片深度估计

MiDaS模型实战案例&#xff1a;宠物照片深度估计 1. 引言&#xff1a;AI 单目深度估计的现实价值 在计算机视觉领域&#xff0c;从单张2D图像中恢复3D空间结构一直是极具挑战性的任务。传统方法依赖多视角几何或激光雷达等硬件设备&#xff0c;成本高且部署复杂。近年来&…

作者头像 李华
网站建设 2026/10/24 22:31:26

MiDaS模型创新:实时深度估计系统搭建

MiDaS模型创新&#xff1a;实时深度估计系统搭建 1. 引言&#xff1a;AI 单目深度估计的现实意义 在计算机视觉领域&#xff0c;从单张2D图像中恢复3D空间结构一直是极具挑战性的任务。传统方法依赖双目立体匹配或多视角几何约束&#xff0c;但这些方案对硬件要求高、部署复杂…

作者头像 李华