R2R本地部署教程:一条命令跑起你的私有AI文档系统
【免费下载链接】R2RSoTA production-ready AI retrieval system. Agentic Retrieval-Augmented Generation (RAG) with a RESTful API.项目地址: https://gitcode.com/GitHub_Trending/r2/R2R
R2R 是一个面向私有场景的 AI 文档管理系统,核心玩法是"上传文档 + 本地大模型问答"。做 R2R 本地部署之后,你的资料全程不出内网,也不产生任何 API 调用费用。下面带你从零跑起来。
💡 先搞懂:R2R能帮你做什么
不堆功能,看三个你马上会用到的场景:
- 把散落资料收进一个地方:合同、论文、报告统一上传,R2R 会自动切块、生成向量索引,后面按内容检索而不是按文件名翻。
- 对着自己的文档提问:上传完成后直接在网页里聊天,回答基于你的文档内容生成,相当于一个只懂你资料的助手。
- 整套系统跑在自己机器上:数据库、文档存储、模型推理都在本地,敏感资料不交给任何第三方服务。
文档管理长这样,上传、查看处理状态都在这里完成:
📋 部署前的3分钟检查
对照下表确认环境,全部满足再往下走:
| 检查项 | 要求 | 说明 |
|---|---|---|
| 操作系统 | Windows 10 / macOS / Linux | Windows 下需开启 WSL2 |
| 内存 | 最低 8GB,推荐 16GB | 本地跑模型主要吃内存 |
| Docker | 已安装 Docker Desktop 并处于运行状态 | R2R 各组件都靠它拉起 |
| 磁盘 | 预留 10GB 以上 | 模型文件不小 |
Docker Desktop 是图形化版的 Docker,负责在后台以"容器"形式运行各个服务,你不需要理解容器原理,能打开并看到绿色小鲸鱼图标即可。
🐳 一条命令把R2R跑起来
R2R Docker 部署的思路是:仓库里自带的编排文件会一次性拉起数据库、文件存储、解析服务和 R2R 主服务。全部命令如下:
# 克隆仓库 git clone https://gitcode.com/GitHub_Trending/r2/R2R # 进入目录 cd R2R # 启动完整服务栈 docker-compose -f docker/compose.full.yaml up -d首次启动需要拉取多个镜像,耐心等待几分钟。完成后浏览器打开http://localhost:7273,看到登录界面就说明 R2R 私有化部署的服务栈已经就绪。
如果你是想改源码做二次开发,可以直接用 pnpm 在js/sdk目录下构建启动,新手用 Docker 方式就够了。
🤖 让R2R接上本地大模型
R2R 本身不带模型,需要给它一个"大脑"。这里用 Ollama(一个本地跑开源模型的托管工具)+ Llama 3.1 对话模型 + mxbai-embed-large 嵌入模型(把文本转成向量的组件,是文档可检索的前提)。
# 下载对话模型 ollama pull llama3.1这一句把 R2R 用来回答问题的模型拉到本地。
# 下载嵌入模型 ollama pull mxbai-embed-large这一句下载文档索引要用的向量化模型,两个模型都来自仓库自带的 Ollama 预设配置(见py/core/configs/ollama.toml)。
# 启动模型服务 ollama serve让 Ollama 在本地11434端口提供服务,R2R 的容器会自动找到它。
✅ 跑通你的第一次对话
按这个清单操作,走完就是完整的部署验证:
- 打开
http://localhost:7273,用系统默认账号(admin@example.com)登录。 - 进入文档管理页,上传一份测试文档,比如
py/core/examples/data/aristotle.txt。 - 等待处理状态变为完成,说明文档已被切块并建好索引。
- 打开聊天界面,问一个只有你这份文档才能答对的问题。
- 回答引用了文档内容、Ollama 侧有请求日志,即整条链路跑通。
登录界面:
🔍 常见问题速查
| 症状 | 原因与解法 |
|---|---|
| 7272 / 7273 端口打不开 | 端口被占用,用netstat -ano \| findstr 7273找到进程,或换一个端口再启动 |
| 容器起不来 | Docker Desktop 没启动,或 WSL2 未开启,先让 Docker 恢复绿色状态再重试 |
| 问答卡住或报模型错误 | ollama serve没跑,或模型没下载完,用ollama list确认两个模型都在 |
| 回答被截断、上下文报错 | Ollama 默认上下文窗口只有 2048 token,参考 官方本地部署文档 里的 Modelfile 方式把num_ctx调大到 16K |
本地这套系统让"私有数据 + 免费推理"第一次变得如此简单。跑通第一次对话后,建议下一步去 配置总览文档 看看哪些行为可以按你的习惯调整。
【免费下载链接】R2RSoTA production-ready AI retrieval system. Agentic Retrieval-Augmented Generation (RAG) with a RESTful API.项目地址: https://gitcode.com/GitHub_Trending/r2/R2R
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考