企业大模型私有化部署完全指南：数据不出门，智能照样顶

别再让核心数据裸奔了！三步搭建你自己的AI能力中心，成本不到云服务的一半

引言：为什么2026年每家企业都该有个“私人大模型”？

你有没有遇到过这种情况：想让AI帮忙分析公司上季度的销售数据，但又怕把Excel上传到云端后被泄露？想用大模型写代码，但公司代码库是核心资产，不敢外传？

数据安全，是企业使用大模型的第一道红线。根据一份2025年的行业调研，超过70%的中小企业因为担心数据泄露而放弃了云端大模型API。这不是保守，这是清醒——没人愿意拿核心机密去赌一个“概率性安全”。

那怎么办？答案是：私有化部署。

把你自己的大模型装在你自己的服务器上，数据不出门，结果却和ChatGPT一样好，甚至更好——因为你可以喂给它你独有的业务知识。

今天，我就带你完整走一遍企业级大模型私有化部署的全流程。全程实操，命令可复制，架构可落地。你不需要是AI专家，只要会敲Linux命令，就能搭起属于自己的AI能力底座。

---

一、整体架构：先看懂我们要搭什么

1.1 为什么不能“一个服务器搞定一切”？

很多新手会问：我就一台机器，把Dify、Ollama、XInference全装一起不行吗？

行，但不推荐。

大模型推理（尤其是生成回答时）非常消耗GPU资源，而Dify应用编排主要消耗CPU和内存。混在一起，两者会互相抢资源。更麻烦的是，当你以后想单独升级模型或扩展算力时，混装会让你拆不开。

所以我们采用“一主两辅”的分离架构：

【主服务器】Dify应用平台（编排RAG、Agent、工作流） │ ├── 【GPU服务器A】Ollama（部署大语言模型，如Qwen3） │ └── 【GPU服务器B】XInference（部署嵌入模型 + 重排序模型）

如果你只有一台机器，也可以先在一台机器上用不同端口模拟，但生产环境建议分开。

1.2 为什么同时用Ollama和XInference？

• Ollama

  ：专注大语言模型（LLM），上手极简，一行命令就能跑起Qwen、Llama。但它对嵌入模型（Embedding）和重排序模型（Rerank）支持很弱。

• XInference

  ：功能更全面，不仅支持LLM，还完美支持Embedding和Rerank。这两个模型是RAG知识库的核心——没有它们，你的私有知识就没办法被检索和精排。

结论：用Ollama跑对话大模型，用XInference跑RAG所需的向量化和精排模型。两者配合，才是企业级完整方案。

1.3 一张表看懂三个模型各司其职

在企业RAG应用中，有三个关键环节需要不同模型：

环节	用的模型	做什么	通俗解释
知识入库	Embedding模型	把文档变成向量	把“苹果好吃”转成计算机能算的数学向量
召回排序	Rerank模型	对检索结果精排	从一堆可能相关的内容里挑出最靠谱的
答案生成	LLM	基于检索结果写回答	大模型根据你给的材料，像人一样组织语言

💡 Rerank为什么重要？ 初步检索可能捞回20条相关片段，其中夹杂不少噪音。Rerank模型会重新打分，把最相关的排前面。这样LLM生成答案时就不会被无关信息干扰，质量大幅提升。代价是会增加一点延迟，适合知识库问答、客服系统等高精度场景。

---

二、部署Dify——你的AI应用“总控台”

Dify是一个开源的全能LLM应用开发平台，你可以在上面像搭积木一样创建RAG知识库、智能体Agent、自动化工作流。而且它提供可视化界面，产品经理都能上手。

2.1 租赁一台主服务器（以腾讯云为例）

配置要求不高，因为Dify本身不跑模型：

• CPU

  ：4核

• 内存

  ：8GB

• 系统

  ：Ubuntu 22.04

• 带宽

  ：按量付费，拉满（实际用不了多少）

安全组要开放这些端口：

• 22 → SSH远程登录

• 80 / 443 → 网页访问

• 6006 → 后面给Ollama调用（可自定义）

2.2 安装Docker（完整命令+注释）

Dify依赖Docker运行。如果你的服务器还没装Docker，一步步执行：

# 1. 更新系统软件包（-y 表示自动确认） sudo apt update && sudo apt upgrade -y # 2. 安装Docker依赖工具 sudo apt install -y ca-certificates curl gnupg lsb-release # 3. 添加Docker官方GPG密钥（用阿里云镜像加速） curl -fsSL http://mirrors.aliyun.com/docker-ce/linux/ubuntu/gpg | sudo apt-key add - # 4. 添加Docker软件源（根据你的系统版本自动匹配） sudo add-apt-repository "deb [arch=amd64] http://mirrors.aliyun.com/docker-ce/linux/ubuntu $(lsb_release -cs) stable" # 5. 安装Docker核心组件 sudo apt-get install -y docker-ce docker-ce-cli containerd.io # 6. 启动Docker服务并设置开机自启 sudo systemctl start docker sudo systemctl enable docker # 7. 检查Docker是否正常运行（看到active (running) 就OK） sudo systemctl status docker

常见问题解决：如果启动失败，提示“service is masked”，执行：

sudo systemctl unmask docker.service sudo systemctl start docker

配置镜像加速器（解决国内拉取镜像慢的问题）：

sudo vi /etc/docker/daemon.json

粘贴以下内容（多个镜像源，提高成功率）：

{ "registry-mirrors": [ "https://docker.unsee.tech", "https://dockerpull.org", "https://mirror.baidubce.com", "https://hub-mirror.c.163.com" ] }

保存后重启Docker：

sudo systemctl daemon-reload sudo systemctl restart docker

2.3 下载并启动Dify（推荐稳定版0.15.5）

# 创建Dify目录 cd /opt sudo mkdir dify cd dify # 下载离线包（如果网速慢，可以用课程资料里提前准备好的包） # 这里假设你已经用Xftp把dify-0.15.5.tar.gz上传到了/opt/dify sudo tar -zxvf dify-0.15.5.tar.gz # 进入docker目录 cd /opt/dify/dify-0.15.5/docker # 复制环境变量模板 sudo cp .env.example .env # 启动所有容器（-d 表示后台运行） sudo docker compose up -d

第一次启动会拉取多个镜像，可能需要几分钟。看到类似下面的输出表示成功：

[+] Running 11/11 ✔ Container docker-redis-1 Started ✔ Container docker-db-1 Started ✔ Container docker-api-1 Started ✔ Container docker-nginx-1 Started ...

检查所有容器是否正常运行：

sudo docker compose ps

应该看到11个容器状态都是Up。

2.4 访问Dify并初始化

在浏览器输入：http://你的服务器公网IP/install

按照页面提示设置管理员邮箱和密码，注册完成后就可以登录Dify控制台了。

小贴士：如果页面一直加载不出来，可能是容器还没完全就绪。等一两分钟，或者重启一下Docker：sudo docker compose restart

---

三、部署大语言模型——用Ollama跑起你的第一个对话模型

3.1 租赁GPU服务器（以AutoDL为例）

因为大模型推理需要GPU，我们租一台带显卡的云服务器。推荐使用AutoDL，按小时计费，灵活便宜。

• 配置

  ：单卡RTX 4090（24G显存）

• 区域

  ：选择西北B区（资源相对充足）

• 镜像

  ：PyTorch 2.0 + CUDA 11.8（预装Python环境）

• 开放端口

  ：注意AutoDL只开放6006端口供外部访问

租好后，复制登录指令（ssh [e-mail] -p 端口号），用XShell连接。

注意：AutoDL默认会开启“学术加速”，可以方便地访问GitHub和HuggingFace。在终端执行：

source /etc/network_turbo

3.2 安装Ollama

# 进入数据目录（如果没有就创建） cd /data/dify sudo mkdir -p /data/dify # 一键安装Ollama（官方脚本） curl -fsSL https://ollama.com/install.sh | sh

安装完成后，启动Ollama服务并允许外部访问（因为Dify在另一台服务器）：

# 监听所有网络接口的6006端口 OLLAMA_HOST=0.0.0.0:6006 ollama serve

注意：这个命令会阻塞终端。建议开两个终端窗口：一个跑服务，另一个执行后续命令。或者用screen/tmux后台运行。

3.3 下载并运行大语言模型

以通义千问Qwen3:4b为例（4B参数，显存占用约8GB）：

# 先开启学术加速（如果还没开） source /etc/network_turbo # 拉取并运行模型（注意：这里用127.0.0.1是因为我们在本地执行命令） OLLAMA_HOST=127.0.0.1:6006 ollama run qwen3:4b

第一次运行会自动下载模型（约2.5GB），等待下载完成。成功后会出现一个交互式对话界面，输入问题测试：

>>> 你好，请介绍一下你自己 我是Qwen3，一个开源大语言模型...

按Ctrl + D退出对话。

如果下载太慢，可以先用小模型试试：

OLLAMA_HOST=127.0.0.1:6006 ollama run qwen2.5:1.5b

离线方案：如果网络实在不行，可以下载离线模型包，上传到~/.ollama/models目录。

3.4 在Dify中接入Ollama模型

回到Dify网页控制台：

1. 点击右上角头像 →设置→模型供应商

2. 找到Ollama，点击“安装”

3. 填写配置：

配置项	填写内容
模型名称	qwen3:4b
基础URL	http://你的Ollama服务器内网IP:6006
模型类型	对话模型

点击保存。稍等片刻，模型就会出现在可用模型列表中。

---

四、部署嵌入模型和重排序模型——用XInference补全RAG能力

4.1 租赁第二台GPU服务器（同样在AutoDL）

重复上面的租用流程，再开一台同样配置的服务器。这次用来跑XInference。

连接后同样开启学术加速：

source /etc/network_turbo

4.2 安装XInference（指定稳定版本）

# 升级pip python -m pip install --upgrade pip # 安装XInference 1.13.0（最新版可能有兼容问题） pip install 'xinference==1.13.0' # 安装PyTorch（使用清华源加速） pip install -i https://pypi.tuna.tsinghua.edu.cn/simple torch # 升级CUDA版本的PyTorch pip install --upgrade torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 # 安装额外依赖 pip install sentence-transformers sentencepiece transformers

关键步骤：降级xoscar（否则可能启动报错）

pip install xoscar==0.6.2

4.3 启动XInference服务

# 监听所有网卡，端口6006 xinference-local --host 0.0.0.0 --port 6006

同样，这个命令会阻塞终端，建议用另一个窗口操作。

4.4 下载嵌入模型（Embedding）

方式一：在线下载（推荐，但需要稳定网络）

在浏览器访问：http://你的XInference服务器公网IP:6006

你会看到XInference的Web界面。点击“Launch Model”：

• 模型类型：Embedding

• 模型名称：bge-large-zh-v1.5

• 模型格式：pytorch

点击下载，等待完成。这个过程可能需要十几分钟，因为模型约1.3GB。

方式二：离线上传（如果在线下载失败）

1. 从HuggingFace下载模型文件：https://huggingface.co/BAAI/bge-large-zh-v1.5/tree/main

2. 在服务器上创建缓存目录：

mkdir -p ~/.xinference/cache/bge-large-zh-v1.5

1. 用Xftp把下载好的模型文件上传到这个目录

2. 设置权限：

chmod -R 777 ~/.xinference/cache/bge-large-zh-v1.5

1. 加载模型：

xinference launch --model-name bge-large-zh-v1.5 --model-type embedding --model-path ~/.xinference/cache/bge-large-zh-v1.5/ --endpoint http://localhost:6006

4.5 下载重排序模型（Rerank）

同样在XInference Web界面：

• 模型类型：Rerank（如果版本较低，可能显示为cross-encoder）

• 模型名称：bge-reranker-base

或者离线下载：https://huggingface.co/BAAI/bge-reranker-base/tree/main

上传到~/.xinference/cache/bge-reranker-base，然后加载：

xinference launch --model-name bge-reranker-base --model-type rerank --model-path ~/.xinference/cache/bge-reranker-base/ --endpoint http://localhost:6006

4.6 在Dify中接入XInference模型

回到Dify控制台：

1. 设置 → 模型供应商 → Xinference

2. 添加嵌入模型：

配置项	填写内容
模型名称	bge-large-zh-v1.5
服务器URL	http://你的XInference内网IP:6006
模型类型	Embedding

1. 添加重排序模型：

配置项	填写内容
模型名称	bge-reranker-base
服务器URL	http://你的XInference内网IP:6006
模型类型	Rerank

保存后，Dify就可以使用这些模型了。

---

五、验证效果：跑通第一个RAG问答

现在所有组件都已就绪。我们来创建一个最简单的知识库问答应用。

5.1 在Dify中创建知识库

1. 点击知识库→创建知识库

2. 上传一份你的企业文档（PDF、Word、TXT都行）

3. 选择嵌入模型为 bge-large-zh-v1.5

4. Dify会自动对文档进行切片和向量化

5.2 创建对话应用

1. 点击工作室→创建应用→对话型应用

2. 在上下文中关联刚才创建的知识库

3. 选择大语言模型为 qwen3:4b

4. 开启重排序功能（如果支持）

5.3 提问测试

在对话界面输入：“请根据我们的知识库，总结一下公司的主要业务。”

系统会：

1. 把你的问题向量化（Embedding）

2. 在知识库中检索相关片段

3. 对检索结果重排序（Rerank）

4. 把最相关的片段和问题一起交给LLM

5. LLM生成回答

如果一切正常，你会看到基于你私有文档的准确回答，而不是模型的“瞎编”。

---

总结：从“不敢用”到“放心用”，你只差这一套方案

到这里，你已经完成了企业级大模型私有化部署的全流程。回顾一下我们做了什么：

• ✅ 搭建了Dify应用编排平台

• ✅ 用Ollama部署了大语言模型

• ✅ 用XInference部署了Embedding和Rerank模型

• ✅ 在Dify中集成了所有模型，跑通了RAG问答

这套方案的核心价值有三点：

1. 数据安全

   ：所有模型和数据都在你自己的服务器上，没有数据外泄风险。

2. 成本可控

   ：相比调用云端API，私有化部署在大量使用时成本更低，且没有按次计费的焦虑。

3. 能力完整

   ：同时支持对话、知识库检索、重排序，覆盖企业90%的AI应用场景。

当然，生产环境还有更多细节要优化，比如：

• 使用负载均衡和高可用架构

• 对模型进行量化压缩以降低显存

• 建立监控和日志系统

• 定期备份知识库向量数据

但无论如何，你已经迈出了最关键的一步——从0到1搭起了自己的AI能力底座。

下一步，你可以基于这个底座，开发智能客服、代码助手、销售陪练……想象力有多大，应用就有多广。

如果部署过程中遇到问题，欢迎在评论区留言。我会定期回复。也可以关注我的专栏，后续会有更多实战文章。

私有化AI，不再是巨头的专利。你，也可以。