今天给大家安利一款宝藏开源项目,把 RAG 技术栈全部打包好了,开箱即用,一行命令就能部署。它支持 DeepSeek、OpenAI、Claude、通义千问等多种大模型,还支持 MCP 协议,简直是 AI 爱好者的福音。
开源链接在文末,先别急着去找,看完这篇再决定要不要上车。
一、为什么要搞私有化 AI 知识库?
在开始动手之前,先聊聊为什么企业需要私有化部署 AI 知识库。直接用 GPT 不好吗?
数据安全肯定是第一位的。企业内部的文档、知识库、客户资料这些敏感数据,谁敢随便往公网上传?搞不好就变成了别人训练模型的数据,到时候自己成了"被收割"的对象都不知道。私有化部署把数据牢牢掌握在自己手里,这才是大厂们的选择。
第二个原因是可控性。公有服务的接口随时可能调整、价格也可能变动,甚至被突然限制访问。私有化部署的模型和 API 就在你自己手里,想怎么改怎么改,想怎么升级怎么升级,完全不受制于人。
第三个原因是定制化能力。每个企业的业务场景都不一样,通用的 AI 助手很难完美贴合业务。私有化部署可以针对特定领域进行微调、添加特定的知识库、甚至训练专属模型,这些是公有服务很难提供的。
最后一个原因是成本可控。随着使用量增加,API 调用费用会越来越高。私有化部署虽然前期有硬件投入,但长期来看边际成本会越来越低,而且不用担心用量限制的问题。
二、环境准备:一台机器就够了
开始部署前,先确认一下你的服务器配置够不够格:
最低配置:
- Docker:20.10 以上版本
- 系统内存:2GB RAM
- 磁盘空间:10GB 可用空间
- CPU:2 核
- 操作系统:Linux/Windows/macOS 都可以
推荐配置:
- 系统内存:4GB+ RAM
- 磁盘空间:20GB+ 可用空间
- CPU:4 核
- 生产环境建议使用 Linux
看到这里是不是松了口气?这配置要求真的不算高,哪怕是几年前的老旧服务器都能跑得起来。而且所有依赖项都已经打包在容器里了,不需要你额外安装 PostgreSQL、Redis 这些组件,省事。
如果你不想手动配置 Docker,还有更简单的方法——使用 1Panel 应用商店。1Panel 是一个 Linux 服务器管理面板,可以直接通过图形界面安装 MaxKB,只需要几步点击就能完成,对新手非常友好。
三、一行命令启动 MaxKB
好,环境确认没问题了,接下来就是见证奇迹的时刻。打开你的服务器终端,输入下面这条命令:
docker run -d --name=maxkb --restart=always -p 8080:8080 -v ~/.maxkb:/opt/maxkb 1panel/maxkb来解释一下这条命令的各个参数都是干什么的:
-d:后台运行容器,不会占用你的终端窗口。
--name=maxkb:给容器起个名字,方便后续管理。
--restart=always:容器意外退出后自动重启,保证服务稳定。
-p 8080:8080:端口映射,把容器的 8080 端口映射到宿主机的 8080 端口。
-v ~/.maxkb:/opt/maxkb:数据卷映射,把容器里的/opt/maxkb目录挂载到宿主机的~/.maxkb目录,这样容器重启或者升级后数据也不会丢失。
1panel/maxkb:镜像名称,Docker 会自动从官方仓库拉取最新镜像。
命令执行完成后,可以用docker ps看看容器是不是已经跑起来了。如果看到状态栏显示 “Up”,恭喜你,已经成功了一半。
接下来访问 http://你的服务器IP:8080/admin,就能看到登录界面了。
默认登录信息:
- 用户名:admin
- 密码:MaxKB@123…
⚠️ 安全提醒:首次登录后一定要改密码!这个默认密码太弱了,很容易被暴力破解。建议密码满足:最少 12 个字符,混合大小写字母,包含数字和特殊字符,别用那些常见单词或者生日什么的。
四、配置模型提供商:接上 DeepSeek
登录进去之后,第一件事就是配置模型提供商。MaxKB 支持多种大模型,包括但不限于:
- OpenAI
- Claude (Anthropic)
- DeepSeek
- 通义千问
- 智谱 AI
- 月之暗面
- 百度文心一言
- 阿里云百炼
- 本地部署的各种模型
进入"模型管理"->“模型配置”,点击"添加模型"。这里以配置 DeepSeek 为例:
API 地址:https://api.deepseek.com/v1 (DeepSeek 官方 API 地址)
API Key:从 DeepSeek 开发者平台获取的密钥
模型类型:选择 LLM(大语言模型)
模型名称:deepseek-chat 或者你想要使用的具体模型
最大 Token:根据你的需求设置,一般 4096 就够用了
保存之后,就可以测试一下连接是否正常。如果测试通过,恭喜你,模型配置成功了。
同样的方式,你还可以配置 Embedding 模型(用于将文本转换成向量)、语音识别模型(STT)、语音合成模型(TTS)、图片生成模型等等。不同的模型类型对应不同的功能,按需配置就行。
五、创建知识库:让 AI 变身你的专属专家
模型配置好了,接下来就是核心环节——创建知识库。这部分是 RAG 技术的重头戏,理解了这里就理解了 80% 的 MaxKB。
5.1 创建知识库
进入"知识库管理",点击"创建知识库"。给你的知识库起个名字,比如"公司内部文档",写个描述说明这个知识库的用途,然后选择 Embedding 模型。
这里有个小坑要注意:同一个知识库里的所有文档必须使用相同的 Embedding 模型,否则会导致向量维度不一致,搜索的时候会报错。如果你切换了 Embedding 模型,需要重新处理知识库里的所有文档。
5.2 上传文档
知识库创建好之后,就可以往里面添加文档了。MaxKB 支持多种文档格式:
- Word (.docx)
- Excel (.xlsx)
- PowerPoint (.pptx)
- 纯文本 (.txt)
- Markdown (.md)
- 网页 URL(自动抓取)
点击"上传文档",选择你准备好的文件。上传之后系统会自动进行处理,包括:
文本提取
:从文档中提取纯文本内容
分段处理
:将长文档按照语义边界拆分成多个段落
向量化
:使用 Embedding 模型将每个段落转换成向量
索引构建
:在 PostgreSQL 的 pgvector 扩展中建立向量索引
整个过程是异步执行的,可能需要一点时间,具体取决于文档的大小和服务器的性能。你可以在"文档列表"中看到处理进度,状态会从"处理中"变成"已完成"。
5.3 分段策略:比你想的更智能
MaxKB 的文档分段不是简单的按字符数切分,而是采用了更智能的策略:
基于语义边界
:识别自然段、章节、标题等结构元素,在这些边界处分段
保持上下文完整性
:每个分段都会保留一定的上下文信息,确保语义连贯
动态调整大小
:根据文档结构自动调整分段长度,避免在句子中间强制切分
重叠窗口
:相邻分段之间有一定的重叠内容,防止关键信息被遗漏
这种分段策略能够最大限度地保证信息的完整性和检索的准确性。如果你对自动分段的效果不满意,还可以手动调整分段策略或者手动编辑分段。
5.4 多模态搜索:三种策略灵活切换
MaxKB 支持三种搜索策略,可以根据不同的场景灵活选择:
Embedding 搜索(语义搜索):基于向量相似度进行检索,适合模糊查询和语义理解。比如你问"如何申请年假",系统能找到"休假制度"相关的文档,即使文档里没有完全匹配的关键词。
关键词搜索:基于传统全文搜索,适合精确匹配特定术语、编号等场景。比如搜索"第 12 条规定"这种明确的关键词。
混合搜索:结合 Embedding 搜索和关键词搜索的优势,通过加权的方式综合两种结果。这是默认策略,在大多数场景下效果最好。
你可以在知识库设置中选择默认的搜索策略,也可以在创建应用的时候针对每个应用单独配置。
六、创建 AI 应用:把知识库变成对话助手
知识库准备好了,接下来就是创建 AI 应用,把知识库变成能对话的助手。
6.1 创建应用
进入"应用管理",点击"创建应用"。MaxKB 支持两种类型的应用:
助手应用:最简单的对话模式,适合创建客服机器人、知识问答系统等。
工作流应用:使用可视化编辑器创建复杂的 AI 流程,适合需要多步骤处理、条件判断、工具调用等场景。
先从简单的助手应用开始。给你的应用起个名字,比如"HR 助手",选择刚才配置好的大模型,然后在"知识库设置"中选择要关联的知识库。一个应用可以关联多个知识库,检索的时候会在所有关联的知识库中搜索。
6.2 调整提示词:AI 回答质量的关键
MaxKB 已经预设了一套提示词模板,但你可以根据实际需求进行调整。提示词部分主要包含:
开场白:用户打开对话时看到的欢迎语
引导问题:给用户推荐几个常见问题,方便快速上手
角色设定:告诉 AI 它应该扮演什么角色,比如"你是一个专业的 HR 助手,负责解答公司人事政策相关的问题"
回答风格:设定回答的语气和风格,比如"回答要简洁明了,避免使用技术术语"
示例对话:提供几个问答示例,帮助 AI 理解预期的回答格式
好的提示词能让 AI 的回答质量提升好几个档次,建议多花点时间优化。你可以尝试不同的提示词版本,对比实际效果,找到最适合你场景的表达方式。
6.3 参数调优:找到最佳平衡点
除了提示词,还有一些参数可以调整来优化回答质量:
温度:控制回答的随机性。值越小,回答越确定、越保守;值越大,回答越有创造性、越不稳定。一般问答场景设置在 0.3-0.5 比较合适。
最大 Token:限制回答的长度。太短了信息不完整,太长了会浪费 Token 成本。
Top P:控制回答的多样性。温度和 Top P 是两种不同的控制随机性的方式,一般调整其中一个就够了。
Presence Penalty:鼓励模型谈论新话题。值越大,模型越倾向于不重复之前的内容。
Frequency Penalty:减少重复使用相同词语的频率。
这些参数没有标准答案,需要根据你的具体场景反复调试才能找到最佳配置。建议小步快跑,每次只调整一个参数,观察效果变化。
七、高级玩法:工作流引擎
如果你想玩得更高级,可以试试工作流引擎。MaxKB 的工作流引擎支持 25+ 种节点类型,可以实现非常复杂的 AI 流程。
进入"应用管理",创建一个"工作流应用",就会打开可视化编辑器。中间是画布,左边是节点库,右边是节点属性面板。
7.1 常用节点类型:积木一样拼出复杂流程
开始节点:工作流的入口点,可以定义输入参数。
结束节点:工作流的出口点,定义输出格式。
LLM 节点:调用大语言模型,是最常用的节点之一。可以配置提示词、温度、最大 Token 等参数。
知识库检索节点:从知识库中检索相关文档,支持设置检索数量、相似度阈值等参数。
条件判断节点:根据某个条件决定走哪个分支,比如"如果用户输入包含’价格’,进入报价流程,否则进入咨询流程"。
循环节点:重复执行某个操作,适合需要迭代处理的场景。
HTTP 请求节点:调用外部 API,扩展 AI 的能力。
代码执行节点:执行一段自定义代码,实现特定的逻辑。
变量设置节点:设置或更新变量,在不同节点之间传递数据。
文档提取节点:从文档中提取文本内容。
文档处理节点:对文档进行分段、清洗等操作。
模型调用节点:调用除了 LLM 之外的其他模型,比如 Embedding 模型、图片生成模型等。
7.2 实战案例:智能客服工作流
假设你要创建一个智能客服工作流,流程如下:
- 用户提问
- 先从知识库检索相关文档
- 如果知识库找到了相关内容(相似度>0.7),直接基于知识库回答
- 如果知识库没找到,调用 LLM 模型直接回答
- 记录问题和答案到数据库
- 返回结果给用户
用可视化编辑器搭建起来就是:
开始 -> 知识库检索 -> 条件判断 -> (分支 A) 基于知识库回答 / (分支 B) 调用 LLM -> 记录日志 -> 结束
每个节点之间用线连起来,配置好每个节点的参数,一个完整的客服工作流就搭建好了。保存之后,就可以通过 API 调用这个工作流,或者在前端界面中直接使用。
7.3 工作流的威力:不用写代码就能实现复杂逻辑
工作流引擎的威力在于,你可以把复杂的业务逻辑可视化地表达出来,不需要写一行代码。而且工作流可以版本管理、可以回滚、可以 A/B 测试,非常适合生产环境使用。
想象一下,你可以搭建这样的工作流:
- 接收用户上传的合同文档
- 自动提取关键条款
- 根据公司政策判断是否需要法务审核
- 如果需要,自动创建审批流程
- 审批通过后,生成合同编号并归档
- 全程不需要人工干预
这就是工作流 + AI 能带来的效率提升。
八、API 集成:把 AI 能力嵌入你的系统
MaxKB 提供了完整的 REST API,可以方便地集成到你现有的系统中。
8.1 获取访问令牌
在"应用详情"页面,点击"访问令牌",创建一个 API Key。这个 Key 用于认证,记得保密。API Key 可以设置过期时间,建议定期更换,提高安全性。
8.2 调用对话 API:简单几行代码就能用
对话 API 的调用非常简单:
curl -X POST 'http://你的服务器IP:8080/chat/api/application/{application_id}/chat' \-H 'Authorization: Bearer {你的访问令牌}' \-H 'Content-Type: application/json' \-d '{ "message": "我想请年假,流程是什么?", "stream": false}'参数说明:
application_id:应用 ID,可以在应用详情页面找到
message:用户的问题
stream:是否使用流式输出,false 表示等全部生成后再返回,true 表示实时流式返回
API 返回的结果包含以下字段:
content:AI 的回答内容
chat_id:对话 ID,可以用于后续继续同一个对话
message_id:消息 ID
knowledge_list:检索到的知识库内容(如果有)
tokens:消耗的 Token 数量
8.3 集成示例:企业内部系统实战
假设你的公司内部有一个 OA 系统,想要集成 AI 咨询功能。只需要在你的 OA 系统中添加一个"智能咨询"按钮,点击后弹出对话框,用户输入问题,后台调用 MaxKB 的 API,返回结果展示给用户。
整个过程不需要用户感知到背后调用的是 MaxKB,就好像 OA 系统天生就有 AI 能力一样。
九、部署优化:生产环境最佳实践
如果你是用于生产环境,还需要注意以下几点:
9.1 数据备份:别让心血付诸东流
MaxKB 的数据存储在 Docker 数据卷中,默认位置是~/.maxkb。定期备份这个目录,防止数据丢失。可以用rsync或者tar命令打包备份,也可以设置定时任务自动备份。建议:
- 每日增量备份
- 每周全量备份
- 异地备份一份
9.2 性能监控:防患于未然
使用docker stats命令监控容器的资源使用情况,包括 CPU、内存、网络、磁盘 IO。如果发现性能瓶颈,可以考虑:
- 升级服务器配置
- 调整模型参数(比如减少最大 Token)
- 使用缓存减少重复计算
- 分布式部署多个实例
9.3 安全加固:别让黑客钻空子
除了修改默认密码,还应该:
- 使用反向代理配置 HTTPS
- 限制 API 访问 IP 白名单
- 定期更新 Docker 镜像到最新版本
- 配置防火墙规则,只开放必要的端口
- 启用日志审计,记录所有关键操作
9.4 高可用部署:保证 7×24 小时在线
对于高可用场景,可以考虑部署多个 MaxKB 实例,前面用负载均衡器分流量。数据库和缓存可以使用外部的高可用集群,而不是容器内部自带的。
十、实际应用场景:这些场景都能用上
说了这么多,MaxKB 到底能用来做什么?这里列出几个典型场景:
智能客服系统
企业可以用 MaxKB 搭建智能客服,把产品手册、常见问题、售后政策等文档上传到知识库,客户咨询的时候自动从知识库检索相关内容并生成回答。相比传统的关键词匹配,RAG 技术能理解用户的真实意图,提供更准确的回答。还能自动记录对话历史,分析常见问题,持续优化知识库内容。支持多轮对话,能记住上下文,体验更自然。
技术文档助手
开发团队可以把技术文档、API 文档、代码示例等上传到知识库,新员工入职或者开发者遇到问题时,直接问 AI 助手就能得到准确的答案,不用翻阅大量文档。还能集成到 IDE 中,写代码的时候随时查询文档,大大提高开发效率。支持代码片段检索,能快速找到相关的代码示例。
HR 政策咨询
公司的人事制度、薪酬福利、请假流程等政策文档上传到知识库,员工有疑问的时候可以直接咨询 HR 助手,快速得到准确的答案。减轻 HR 的工作负担,提高员工满意度。还能自动生成请假申请模板、入职须知等文档,提高工作效率。
合同审查助手
把公司的合同模板、审查标准、历史合同等上传到知识库,新合同来了之后,AI 助手可以自动检查是否符合标准条款,有没有遗漏重要内容,提示潜在风险。虽然不能完全替代人工审查,但能大幅提高审查效率和质量。还能对比不同版本的合同,快速发现差异。
销售支持工具
把产品信息、报价单、客户案例、竞争对手分析等上传到知识库,销售在跟客户沟通的时候可以快速查询相关信息,给出准确的回答。还能根据客户需求自动生成初步方案,缩短销售周期。支持场景化问答,比如客户问"预算有限有什么方案",能给出不同价位的方案建议。
内部知识管理
公司的各种文档、报告、会议纪要、项目资料等上传到知识库,员工可以通过自然语言搜索快速找到需要的信息,打破信息孤岛,提高协作效率。支持权限管理,不同部门的人只能看到自己的知识库。还能智能推荐相关内容,发现隐藏的知识关联。
学习辅导系统
教育机构可以把教材、习题、知识点总结等上传到知识库,学生可以随时提问,AI 助手根据知识库内容提供个性化的辅导。还能根据学生的错题推荐相关知识点讲解,实现精准提分。支持多学科知识库,数学、英语、物理等都能搞定。
法律咨询服务
律师事务所可以把法律条文、案例分析、实务指南等上传到知识库,律师在处理案件的时候可以快速查询相关法律依据,提高办案效率。不过要注意,AI 的回答不能完全替代专业判断,最终还是要律师把关。还能自动生成法律文书初稿,节省律师的时间。
医疗诊断辅助
医疗机构可以把医学指南、临床路径、病例库等上传到知识库,医生在诊断的时候可以快速查询相关参考信息。但同样要注意,AI 只是辅助工具,不能替代医生的判断。还能根据症状推荐相关的检查项目,辅助医生制定诊疗方案。
政务咨询机器人
政府部门可以把政策文件、办事指南、常见问题等上传到知识库,民众可以通过对话的方式查询政务信息,不用翻阅大量文件,提高政务服务效率。支持多轮对话,能引导用户一步步完成办事流程。还能智能识别用户意图,自动推荐相关政策。
免责声明
本文仅供技术交流参考,作者不对使用 MaxKB 产生的任何结果负责。企业在实际应用中应当根据自身需求和技术能力进行评估和测试,确保符合相关法律法规要求。涉及敏感数据的应用应当做好安全防护措施,防止数据泄露。AI 的回答可能存在不准确或不完整的情况,关键业务场景应当有人工审核和把关。使用开源软件时,请遵守相应的开源协议要求。
学AI大模型的正确顺序,千万不要搞错了
🤔2026年AI风口已来!各行各业的AI渗透肉眼可见,超多公司要么转型做AI相关产品,要么高薪挖AI技术人才,机遇直接摆在眼前!
有往AI方向发展,或者本身有后端编程基础的朋友,直接冲AI大模型应用开发转岗超合适!
就算暂时不打算转岗,了解大模型、RAG、Prompt、Agent这些热门概念,能上手做简单项目,也绝对是求职加分王🔋
📝给大家整理了超全最新的AI大模型应用开发学习清单和资料,手把手帮你快速入门!👇👇
学习路线:
✅大模型基础认知—大模型核心原理、发展历程、主流模型(GPT、文心一言等)特点解析
✅核心技术模块—RAG检索增强生成、Prompt工程实战、Agent智能体开发逻辑
✅开发基础能力—Python进阶、API接口调用、大模型开发框架(LangChain等)实操
✅应用场景开发—智能问答系统、企业知识库、AIGC内容生成工具、行业定制化大模型应用
✅项目落地流程—需求拆解、技术选型、模型调优、测试上线、运维迭代
✅面试求职冲刺—岗位JD解析、简历AI项目包装、高频面试题汇总、模拟面经
以上6大模块,看似清晰好上手,实则每个部分都有扎实的核心内容需要吃透!
我把大模型的学习全流程已经整理📚好了!抓住AI时代风口,轻松解锁职业新可能,希望大家都能把握机遇,实现薪资/职业跃迁~