【AI大模型应用开发】【项目实战】13.RAG智慧问答项目-(一)项目介绍项目架构项目环境配置

项目介绍

项目概述

1.背景介绍

近年来，随着ChatGPT的广泛应用，基于大规模语言模型（LLM）的技术已成为人工智能领域的研究和应用热点,。尤其是大模型在各类自然语言处理任务中的成功应用，推动了教育行业的智能化转型。然而，当前市面上大多数大语言模型存在一个普遍的问题：这些模型主要依赖于过往的训练数据，无法动态获取最新的知识以及各企业特有的私有知识。这种局限性常常导致生成答案时出现“幻觉”问题，即模型提供的答案与实际情况不符或不准确。

解决幻觉的方法：

• 提示词：简单，快速就能见效。解决不了信息滞后、私有知识的问题

• RAG：相对简单，很快见效，快速解决知识的问题,。 模型本身没有变化，模型的能力没有提升

• 微调：相对困难，高质量数据 + 复杂的算法，需要算力，成本高。不能快速解决知识问题，模型能力能得到提升（补分）

• Agent：因为调用各类工具，模型的能力被外部工具加强，同样的也能获取到最新、最准确的知识

为了有效解决这一问题，企业普遍采用了以下两种主要手段：

1. 基于企业私有知识的垂直领域微调：通过将企业领域的特定知识融合到大模型中，进行微调，使得模型能够更好地服务于垂直行业的专业需求
2. 基于企业私有知识的RAG（Retrieval-Augmented Generation 检索增强生成）问答系统：通过构建基于检索的问答框架，结合企业私有知识库，实现更为精准且动态更新的知识问答服务，从而减少幻觉问题的发生

这里的智慧问答项目是基于RAG架构，能够通过实时检索相关知识库中的信息来增强大模型的生成能力，确保回答的准确性和时效性。与此同时，系统通过自动化处理答疑需求，极大地减轻了人工客服的工作压力，从而实现了高效、低成本的知识服务

该项目使用LangChain和Qwen2.5-7B-Instruct大模型构建一个基于本地知识库的问答系统，解决企业在实际应用中的挑战，并展示这一系统在教育领域中的广泛应用潜力

2.项目架构

2.1 RAG原理

流程：

• 1.Retrieve(检索)：把query转成向量和向量库中的内容进行相似度计算，取出相似度最高的N条数据（context）

• 2.Augment(增强)：将query和context结合起来，得到新的提示词，示例：

• 3.Generate(生成)：把提示词给大模型，生成答案

为什么向量库的嵌入模型需要和查询的嵌入模型完全一致?

2.2 项目流程

离线部分（把数据写到mysql或者milvus数据准备过程）：

• 1.FQA日志高频文档对数据，写入mysql【来自于业务团队】

• 2. 本地知识文档，进行切分，向量化，存入到milvus中【内部文档、选手手册等等】

学科在线答疑系统的两大模块：

• 1.FAQ：用户的query去高频问答对中去查询（查mysql），如果阈值大于0.85，返回问题对应的答案

• 2.RAG：用户的query通过embedding模型进行向量化，再去milvus中进行检索，返回结果中保留topK个，在和query进行拼接，然后通过大模型得到结果

在线答疑系统RAG主要步骤：

• 第一步：将现有后台搜集的FQA数据集存储到Mysql数据库中
• 第二步：基于query实现Mysql数据库检索：将query和现有问题匹配（做相似度计算），如果阈值>=0.85,就认为问题比较明确,直接返回对应的答案;；否则，进入RAG检索系统
• 第三步：搭建本地知识库：对本地文档加载读取；进行文档分割；文档向量化；存储向量数据库（Milvus）
• 第四步：基于query实现Milvus数据库检索：将query进行向量表示，并从Milvus数据库中检索出相似的top-k个文本段。
• 第五步：将query和检索出的top-k文本段拼接，送入大模型，实现预测

2.3 项目结构

3. 项目环境(window)

• 操作系统
• Windows 11
• 硬件要求
• 至少 8GB 内存（建议 16GB 或更高）。
• 至少 20GB 可用磁盘空间（Milvus 和 Redis 数据存储）。
• 网络要求
• 稳定的互联网连接，用于拉取 Docker 镜像。
• 软件版本
• Milvus：2.4.4（最新稳定版）。
• Redis：7.2（最新稳定版）。
• 端口要求
• Milvus：19530（gRPC）、9091（RESTful API）。
• Redis：6379（默认端口）。
• 确保以上端口未被占用

3.1 python虚拟环境

(1). 创建虚拟环境

# 创建虚拟环境, 安装3.10及以上的python解析器 （最好是3.10.18） conda create -n edu_rag python==3.10.18 # 切换虚拟环境 conda activate edu_rag

(2).依赖文件requirements.txt

addict==2.4.0 aiofiles==25.1.0 aiohappyeyeballs==2.6.1 aiohttp==3.13.3 aiosignal==1.4.0 annotated-doc==0.0.4 annotated-types==0.7.0 anyio==4.12.1 appdirs==1.4.4 async-timeout==4.0.3 attrs==25.4.0 backoff==2.2.1 bcrypt==5.0.0 beautifulsoup4==4.14.3 build==1.4.0 certifi==2026.2.25 cffi==2.0.0 chardet==6.0.0.post1 charset-normalizer==3.4.4 chromadb==1.3.5 click==8.3.1 coloredlogs==15.0.1 cryptography==46.0.5 dataclasses-json==0.6.7 datasets==3.3.1 dill==0.3.8 distro==1.9.0 durationpy==0.10 emoji==2.15.0 exceptiongroup==1.3.1 faiss-cpu==1.13.2 fastapi==0.115.12 filelock==3.25.0 filetype==1.2.0 flatbuffers==25.12.19 frozenlist==1.8.0 fsspec==2024.12.0 googleapis-common-protos==1.72.0 grpcio==1.67.1 h11==0.16.0 hf-xet==1.3.2 httpcore==1.0.9 httptools==0.7.1 httpx==0.27.2 httpx-sse==0.4.3 huggingface_hub==0.36.2 humanfriendly==10.0 idna==3.11 importlib_metadata==8.7.1 importlib_resources==6.5.2 jieba==0.42.1 Jinja2==3.1.6 jiter==0.13.0 joblib==1.5.3 jsonpatch==1.33 jsonpointer==3.0.0 jsonschema==4.26.0 jsonschema-specifications==2025.9.1 kubernetes==35.0.0 langchain==1.2.10 langchain-chroma==1.1.0 langchain-classic==1.0.1 langchain-community==0.4.1 langchain-core==1.2.16 langchain-experimental==0.4.1 langchain-ollama==1.0.1 langchain-openai==1.1.10 langchain-text-splitters==1.1.1 langchain-unstructured==1.0.1 langdetect==1.0.9 langgraph==1.0.8 langgraph-checkpoint==4.0.1 langgraph-prebuilt==1.0.8 langgraph-sdk==0.3.9 langsmith==0.7.9 lxml==6.0.2 Markdown==3.6 markdown-it-py==4.0.0 MarkupSafe==3.0.3 marshmallow==3.26.2 mdurl==0.1.2 milvus-model==0.2.5 mmh3==5.2.0 modelscope==1.23.0 mpmath==1.3.0 multidict==6.7.1 multiprocess==0.70.16 mypy_extensions==1.1.0 nest-asyncio==1.6.0 networkx==3.4.2 nltk==3.9.1 numexpr==2.11.0 numpy==2.2.6 oauthlib==3.3.1 ollama==0.6.1 onnxruntime==1.23.2 openai==2.24.0 opencv-python==4.10.0.84 opentelemetry-api==1.39.1 opentelemetry-exporter-otlp-proto-common==1.39.1 opentelemetry-exporter-otlp-proto-grpc==1.39.1 opentelemetry-proto==1.39.1 opentelemetry-sdk==1.39.1 opentelemetry-semantic-conventions==0.60b1 orjson==3.11.7 ormsgpack==1.12.2 overrides==7.7.0 pandas==2.3.1 Pillow==9.5.0 posthog==5.4.0 propcache==0.4.1 protobuf==6.33.5 pyarrow==23.0.1 pybase64==1.4.3 pyclipper==1.4.0 pycparser==3.0 pydantic==2.12.5 pydantic-settings==2.13.1 pydantic_core==2.41.5 Pygments==2.19.2 PyJWT==2.11.0 pymilvus==2.5.4 PyMuPDF==1.23.16 PyMuPDFb==1.23.9 PyMySQL==1.1.1 pypdf==6.7.4 pypdfium2==5.5.0 PyPika==0.51.1 pyproject_hooks==1.2.0 pysbd==0.3.4 python-dateutil==2.9.0.post0 python-docx==1.1.2 python-dotenv==1.2.2 python-iso639==2026.1.31 python-magic==0.4.27 python-pptx==0.6.23 pytz==2025.2 PyYAML==6.0.3 ragas==0.2.6 rank-bm25==0.2.2 RapidFuzz==3.14.3 rapidocr-onnxruntime==1.3.8 redis==5.3.1 referencing==0.37.0 regex==2026.2.28 requests==2.32.5 requests-oauthlib==2.0.0 requests-toolbelt==1.0.0 rich==14.3.3 rpds-py==0.30.0 safetensors==0.7.0 scikit-learn==1.7.2 scipy==1.15.3 sentence-transformers==3.0.1 sentencepiece==0.2.0 setuptools==75.1.0 shapely==2.1.2 shellingham==1.5.4 simplejson==3.19.2 six==1.17.0 sniffio==1.3.1 sortedcontainers==2.4.0 soupsieve==2.8.3 SQLAlchemy==2.0.47 starlette==0.46.2 sympy==1.14.0 tabulate==0.9.0 tenacity==9.1.4 threadpoolctl==3.6.0 tiktoken==0.7.0 tokenizers==0.20.4 tomli==2.4.0 torch==2.10.0 tqdm==4.67.3 transformers==4.45.0 typer==0.24.1 typing-inspect==0.9.0 typing-inspection==0.4.2 typing_extensions==4.15.0 tzdata==2025.3 ujson==5.11.0 unstructured==0.11.0 unstructured-client==0.42.10 urllib3==2.6.3 uuid_utils==0.14.1 uvicorn==0.41.0 uvloop==0.22.1 watchfiles==1.1.1 websocket-client==1.9.0 websockets==16.0 wikipedia==1.4.0 wrapt==2.1.1 xlsxwriter==3.2.9 xxhash==3.6.0 yarl==1.23.0 zipp==3.23.0 zstandard==0.25.0 FlagEmbedding==1.3.5 peft==0.18.1

(3).安装项目依赖包

# 安装依赖包, 在requirements.txt对应路径下执行以下命令 pip install -r requirements.txt

如果安装过程不顺利，可以按需逐个安装：

# conda create -n edu_rag python==3.10.18 # conda activate edu_rag # Python版本： 3.10.18 # 使用方法：先安装python 3.10.18或者创建一个conda的3.10.18的环境，并激活。然后运行以下命令 pip install ollama==0.4.4 pip install requests==2.32.3 pip install numexpr==2.11.0 pip install unstructured==0.11.0 pip install langchain-core==1.2.16 pip install langchain_community==0.4.1 pip install langchain-ollama==1.0.1 pip install langchain_unstructured==1.0.1 pip install langchain_experimental==0.4.1 pip install langchain_chroma==1.1.0 pip install langchain-text-splitters==1.1.1 pip install langgraph==1.0.8 pip install nltk==3.9.1 pip install chromadb==1.3.5 pip install wikipedia==1.4.0 pip install faiss-cpu pip install pymilvus==2.5.4 pip install pandas==2.3.1 pip install jieba pip install rank_bm25==0.2.2 pip install redis==5.3.1 pip install pymysql==1.1.1 pip install opencv-python==4.10.0.84 pip install PyMuPDF==1.23.16 pip install python-docx==1.1.2 pip install pillow==10.4.0 pip install rapidocr-onnxruntime==1.3.8 pip install python-pptx==0.6.23 pip install transformers==4.45.0 pip install modelscope==1.23.0 pip install addict==2.4.0 pip install datasets==3.3.1 pip install simplejson==3.19.2 pip install sortedcontainers==2.4.0 pip install markdown==3.6 pip install sentence-transformers==3.0.1 pip install milvus-model==0.2.5 pip install tiktoken==0.7.0 pip install sentencepiece==0.2.0 pip install ragas==0.2.6 pip install starlette==0.46.2 pip install fastapi==0.115.12 pip install FlagEmbedding==1.3.5 pip install peft==0.18.1

3.2 安装DockerDesktop

(1).安装WSL

• 启用WSL打开具有管理员权限的PowerShell，运行以下命令以安装WSL:

  wsl --install

  如果出现上面问题: 说明电脑系统版本可能较旧，或者未开启必要的系统组件，导致无法识别wsl命令。这通常发生在 Windows 10 的早期版本中, 所以先更新window版本,然后重试命令:wsl --install 即可

安装完后自动跳转页面,关闭即可

安装完成后，重启电脑

(2).安装docker

• 下载并安装Docker Desktop

  • 访问Docker官方网站，下载适用于Windows/Mac的Docker Desktop安装包

• 安装Docker Desktop

  • 双击下载的安装文件(老师发的资料中有)，按照提示一路下一步完成安装
  • 安装完成后，点击close and restart重启电脑以完成配置

验证Docker安装

• 打开PowerShell或命令提示符，运行以下命令,验证是否成功安装

  docker --version docker compose version

4. 配置DockerCompose文件

(1).创建项目目录

• 在本地磁盘（例如:C盘）创建文件夹milvus_redis，用于存放Milvus和Redis的配置文件和数据：

(2).创建docker-compose文件

先创建docker-compose.txt格式文件, 然后修改为docker-compose.yml格式

(3).添加内容

把以下内容复制粘贴到创建的docker-compose.yml文件:

# version: '3.5' # Windows/x86_64 Version # Redis Password set to: 1234 services: etcd: container_name: milvus-etcd image: quay.io/coreos/etcd:v3.5.5 environment: - ETCD_AUTO_COMPACTION_MODE=revision - ETCD_AUTO_COMPACTION_RETENTION=1000 - ETCD_QUOTA_BACKEND_BYTES=4294967296 - ETCD_ENABLE_V2=true volumes: - ./volumes/etcd:/etcd/data command: etcd -advertise-client-urls=http://127.0.0.1:2379 -listen-client-urls http://0.0.0.0:2379 --data-dir /etcd/data minio: container_name: milvus-minio image: minio/minio:RELEASE.2023-03-20T20-16-18Z environment: MINIO_ACCESS_KEY: minioadmin MINIO_SECRET_KEY: minioadmin volumes: - ./volumes/minio:/minio/data command: minio server /minio/data healthcheck: test: ["CMD", "curl", "-f", "http://localhost:9000/minio/health/live"] interval: 30s timeout: 20s retries: 3 standalone: container_name: milvus-standalone # 使用多架构镜像，Docker on Windows 会自动拉取 x86_64 版本 image: milvusdb/milvus:v2.4.4 command: ["milvus", "run", "standalone"] environment: - ETCD_ENDPOINTS=etcd:2379 - MINIO_ADDRESS=minio:9000 volumes: - ./volumes/milvus:/var/lib/milvus ports: - "19530:19530" - "9091:9091" depends_on: - "etcd" - "minio" redis: container_name: milvus-redis image: redis:latest restart: always ports: - "6379:6379" volumes: - ./volumes/redis:/data # 设置 Redis 密码为 1234 command: redis-server --requirepass 1234 networks: default: name: milvus-network

说明

• Milvus 服务

• image: 使用 Milvus 官方镜像milvusdb/milvus:v2.4.10。

• ports: 映射 gRPC（19530）和 RESTful API（9091）端口。
• volumes: 数据持久化存储到本地./volumes/milvus目录。
• environment: 配置日志级别和 Etcd 参数。

• command: 启动 Milvus 单机模式。

• Redis 服务

• image: 使用 Redis 官方镜像redis:7.2。

• ports: 映射默认端口6379。
• volumes: 数据持久化存储到本地./volumes/redis目录。

• command: 启用 AOF（Append Only File）持久化模式。

• volumes: 定义持久化存储卷

5.启动Milvus和Redis

(1).拉取镜像并启动容器

• 进入上述自己创建的milvus_redis目录下，打开具有管理员权限的PowerShell终端，运行：

  # -d 表示后台运行容器 docker compose up -d

• 注意: 拉取镜像时报错: Get "https://registry-1.docker.io/v2/": net/http: request canceled while waiting for connection (Client.Timeout exceeded while awaiting headers)

以下为解决方法, 添加镜像源:

• linux方案: CSDN链接:https://blog.csdn.net/jhgj56/article/details/142209517?fromshare=blogdetail&sharetype=blogdetail&sharerId=142209517&sharerefer=PC&sharesource=weixin_45056110&sharefrom=from_link

• window方案: 咱们当前是window环境,所以直接复制以下内容去docker软件中粘贴即可:

"registry-mirrors": [ "https://docker.211678.top", "https://docker.1panel.live", "https://hub.rat.dev", "https://docker.m.daocloud.io", "https://do.nark.eu.org", "https://dockerpull.com", "https://dockerproxy.cn", "https://docker.awsl9527.cn" ]

重启docker生效

然后再次去milvus_redis 目录下，打开 PowerShell，运行：

(2).docker查看是否成功

启动成功后去docker看看是否正常启动

6.验证Milvus和Redis

(1).测试Milvus连接

• 创建Python脚本（例如 test_milvus.py ）

  from pymilvus import connections, utility # 连接到 Milvus connections.connect(host="localhost", port="19530") # 检查版本 print(f"Milvus version: {utility.get_server_version()}")

• 在EduRAG虚拟环境下运行脚本

  # cmd终端执行命令 # 输出类似Milvus version: 2.4.10 表示Milvus部署成功 python test_milvus.py

(2).测试Redis连接

• 创建Python脚本（例如 test_redis.py ）

  import redis # 连接到 Redis client = redis.Redis(host="localhost", port=6379, password=1234, decode_responses=True) # 测试读写 client.set("test_key", "Hello, Redis!") value = client.get("test_key") print(f"Redis value: {value}")

• 在EduRAG虚拟环境下运行脚本

  # cmd终端执行命令 # 输出类似Redis value: Hello, Redis! 表示Redis部署成功 python test_redis.py

7.安装Milvus可视化工具Attu

(1).安装

拉取可视化组件attu

docker pull zilliz/attu

运行可视化组件

# 下面的30000就是访问的端口，可以自行修改，确保不要被占用即可 docker run -d -p 30000:3000 zilliz/attu

打开127.0.0.1:30000

(2).连接

【上一篇】【AI大模型应用开发】【项目实战】12.基于ChatGlm-6b实现新媒体行业文本评论分类与信息抽取系统

【下一篇】