本文介绍了一个基于RAG技术的开源智能文档问答系统"Everything plus"，结合BM25关键词检索与向量检索技术，实现从海量文档中精准查找答案。系统采用三层架构，支持30+种文件类型扫描，包含混合检索、RRF融合算法、查询重写和提示词工程等核心技术。文章提供了完整部署指南、性能优化经验和解决方案，帮助读者从零开始构建实用可靠的智能文档问答系统。
从零开始，用开源技术搭建一个能"读懂"文档的智能问答系统
相信大家的电脑上都安装了 Everything，一个磁盘文件快速查找桌面级应用软件。
一直以来，我都有个想法，能否做一个 plus 版本，支持文档的全文检索和智能问答？！这个想法萌芽已久，且和同事、朋友做过多次讨论。
近期，终于腾出空来，把它实现了。
直接上效果视频。
这个系统解决了我们工作中一个常见的痛点——如何从海量文档中快速找到最准确答案?
unsetunset一、为什么需要这样一个系统?unsetunset
先说说我遇到的问题。作为技术人,手头总有大量的文档:
- 技术文档、API 手册堆积如山
- 项目笔记、会议记录散落各处
- 代码文件、配置文件数不胜数
传统的解决方案有两种:
方案一:全文搜索
- 优点:速度快,能精确匹配关键词
- 缺点:不理解语义,搜"如何启动"找不到"怎么运行"
方案二:直接问 ChatGPT、Claude、deepseek、豆包等 AI 工具
- 优点:理解能力强,回答自然
- 缺点:容易"胡说八道",给出的答案可能根本不在你的文档里
那么,能不能结合两者的优点,既快速检索又智能理解,还能保证答案可靠呢?
答案是:
可以!
这就是我今天要分享的RAG(检索增强生成)技术。
unsetunset二、什么是 RAG?一个形象的比喻unsetunset
把 RAG 想象成一场"开卷考试":
传统 AI(闭卷考试)学生(AI): 凭记忆答题问题: 可能记错、编造答案RAG(开卷考试)学生(AI): 先翻书找相关内容,再基于书本回答优势: 答案有据可查,准确可靠RAG 的核心流程只有三步:
- 检索(Retrieval): 从文档库找相关内容
- 增强(Augmented): 把找到的内容提供给 AI
- 生成(Generation): AI 基于这些内容生成答案
简单吧！但要做好,还有很多技术细节。
unsetunset三、系统架构:三层设计,清晰明了unsetunset
Everything plus 采用经典的三层架构:
技术栈选型原则:全部开源,零成本部署
- 后端: Python + Flask(轻量级)
- 检索引擎: Elasticsearch 9.x / Easysearch 2.0.0+(支持向量检索)
- 向量模型: Sentence-Transformers(开源)
- LLM: DeepSeek/Ollama(国产/本地)
- 数据库: MySQL(用户管理)
unsetunset四、核心技术解密:混合检索是关键unsetunset
4.1 为什么需要"混合检索"?
单纯用关键词检索或向量检索都有局限:
| 检索方式 | 优点 | 缺点 | 适用场景 |
|---|---|---|---|
| BM25关键词 | 速度快,精确匹配 | 不懂语义 | 搜专有名词、代码 |
| 向量语义 | 理解语义,找相似内容 | 计算慢 | 搜概念、找相关文档 |
解决方案:混合检索 = BM25 + 向量检索
举个例子:
问题: "如何配置数据库连接?"BM25 检索结果:- 文档A: "配置数据库连接的方法..." (精确匹配)- 文档B: "database connection config" (英文匹配)向量检索结果:- 文档C: "设置 MySQL 链接参数..." (语义相似)- 文档D: "数据库初始化步骤..." (相关内容)融合后: A(最相关) > C > B > D4.2 RRF 融合算法:简单但有效
两种检索结果如何合并?这里用到RRF(倒数排名融合)算法:
# 核心公式RRF_score = 1/(k + rank1) + 1/(k + rank2)# 例子文档A: rank1=1, rank2=3 score = 1/(60+1) + 1/(60+3) = 0.0164 + 0.0159 = 0.0323文档B: rank1=5, rank2=1 score = 1/(60+5) + 1/(60+1) = 0.0154 + 0.0164 = 0.0318关键思想:同时出现在两个结果列表中的文档,得分会更高
4.3 查询重写:一个问题变三个
用户的问题往往很简短,直接检索效果不好。系统会自动生成多个查询变体:
原始查询: "系统怎么用"自动重写为:1. "系统怎么用 详细说明" 2. "什么是 系统怎么用"3. "系统怎么用 步骤"# 每个变体都去检索,结果再融合# 这样可以找到更多相关文档4.4 提示词工程:让 AI 不胡说
RAG 的关键是让 AI 只基于检索到的内容回答:
prompt = f"""你是一个文档问答助手。请严格基于以下上下文回答问题:【上下文】[块1] {doc1_content}[块2] {doc2_content}[块3] {doc3_content}【规则】1. 只能使用上述上下文中的信息2. 如果上下文中没有答案,明确说"文档中未找到相关信息"3. 引用时注明来源,如"根据[块1]..."【问题】{user_question}【回答】"""这样设计的提示词,能有效防止 AI “胡编乱造”。
unsetunset五、特色功能:类 Everything 的磁盘扫描unsetunset
这是系统的一大亮点!你可以直接扫描本地磁盘,自动索引文档:
5.1 扫描流程 首次扫描是全量的,但后续扫描会智能判断:
5.2 智能增量更新
首次扫描是全量的,但后续扫描会智能判断:
# 判断文件是否需要重新索引if file.mtime > last_index_time: # 文件被修改过,重新索引 re_index(file)else: # 文件未变化,跳过 skip(file)这样即使扫描大量文件,也不会重复处理,效率很高。
5.3 支持 30+ 种文件类型
文档类: TXT, MD, PDF, DOCX, XLSX, PPTX代码类: PY, JS, JAVA, CPP, GO, PHP, TS, RS配置类: JSON, YAML, XML, INI, CONF, ENV网页类: HTML, CSS, SCSS脚本类: SH, BAT, PS1基本涵盖了日常工作中的所有文本文件。
unsetunset六、实战演示:从安装到使用unsetunset
6.1 环境准备
# 1. 安装 Python 依赖pip install -r requirements.txt# 2. 启动 Elasticsearch/Easysearch系统用了 Elasticsearch 9.0 版本。Easysearch 2.0 等版本原理一致。# 3. 安装 MySQL# (根据你的系统安装 MySQL 5.7+)# 4. 初始化数据库python init_database.py6.2 启动系统
python app.py访问http://localhost:16666,注册账号登录。
6.3 索引文档
方式一:上传文档
- 点击"上传文档"标签页
- 选择文档文件(支持批量)
- 点击上传,系统自动索引
方式二:扫描磁盘
点击"磁盘扫描"标签页
选择要扫描的磁盘(如 D:、E:)
点击"立即刷新"
等待扫描完成
6.4 开始问答
问题: "如何配置 Elasticsearch 连接?"系统返回:【答案】根据[块1]和[块3],Elasticsearch 连接配置如下:1. 在 config.py 中设置连接参数: - ES_HOST: Elasticsearch 服务器地址 - ES_PORT: 端口号(默认9200) - ES_USER: 用户名 - ES_PASSWORD: 密码2. 初始化客户端: es = Elasticsearch( hosts=[{'host': ES_HOST, 'port': ES_PORT}], basic_auth=(ES_USER, ES_PASSWORD) )【证据来源】[块1] 文档: config_guide.md, 第2段[块3] 文档: setup.md, 第5段【相关文档】(3个)- config_guide.md- setup.md - troubleshooting.mdunsetunset七、性能优化经验unsetunset
7.1 检索性能
批量查询: 使用 Elasticsearch 的
_msearchAPI结果缓存: 相同问题直接返回缓存
分页加载: 前端分页,避免一次加载过多
7.2 索引性能
- 批量索引: 使用
_bulkAPI,100条一批 - 异步处理: 文档上传后台异步索引
- 增量更新: 只处理修改过的文件
7.3 向量生成优化
# 批量生成向量,而不是逐个生成texts = [chunk1, chunk2, ..., chunk100]vectors = model.encode(texts, batch_size=32)# 比逐个生成快10倍以上unsetunset八、踩过的坑和解决方案unsetunset
坑1: 向量维度不匹配
问题: Elasticsearch 索引的向量维度与模型不一致
# 错误mapping = { "vector": {"type": "dense_vector", "dims": 512} # 但模型是384维}# 正确:先确认模型维度model = SentenceTransformer('all-MiniLM-L6-v2')print(model.get_sentence_embedding_dimension()) # 384mapping = { "vector": {"type": "dense_vector", "dims": 384} # 与模型一致}坑2: PDF 提取乱码
问题: PDF 中的中文提取出来全是乱码
解决: 使用pdfplumber代替PyPDF2
# pdfplumber 对中文支持更好import pdfplumberwith pdfplumber.open(pdf_path) as pdf: text = "" for page in pdf.pages: text += page.extract_text()坑3: 长文档检索效果差
问题: 长文档切分成小块后,检索只能找到片段,缺乏上下文
解决: 使用重叠切分
from langchain.text_splitter import RecursiveCharacterTextSplittersplitter = RecursiveCharacterTextSplitter( chunk_size=500, # 每块500字符 chunk_overlap=50, # 重叠50字符,保留上下文 length_function=len)unsetunsetunset九、总结与思考unsetunset
核心收获
RAG 不复杂
就是检索+提示词+LLM 三步
混合检索是王道:
BM25 + 向量,各取所长
提示词很关键:
好的提示词让 AI 不胡说
工程化很重要:
性能优化、错误处理、用户体验缺一不可
AI时代，未来的就业机会在哪里？
答案就藏在大模型的浪潮里。从ChatGPT、DeepSeek等日常工具，到自然语言处理、计算机视觉、多模态等核心领域，技术普惠化、应用垂直化与生态开源化正催生Prompt工程师、自然语言处理、计算机视觉工程师、大模型算法工程师、AI应用产品经理等AI岗位。
掌握大模型技能，就是把握高薪未来。
那么，普通人如何抓住大模型风口？
AI技术的普及对个人能力提出了新的要求，在AI时代，持续学习和适应新技术变得尤为重要。无论是企业还是个人，都需要不断更新知识体系，提升与AI协作的能力，以适应不断变化的工作环境。
因此，这里给大家整理了一份《2025最新大模型全套学习资源》，包括2025最新大模型学习路线、大模型书籍、视频教程、项目实战、最新行业报告、面试题等，带你从零基础入门到精通，快速掌握大模型技术！
由于篇幅有限，有需要的小伙伴可以扫码获取！
1. 成长路线图&学习规划
要学习一门新的技术，作为新手一定要先学习成长路线图，方向不对，努力白费。这里，我们为新手和想要进一步提升的专业人士准备了一份详细的学习成长路线图和规划。
2. 大模型经典PDF书籍
书籍和学习文档资料是学习大模型过程中必不可少的，我们精选了一系列深入探讨大模型技术的书籍和学习文档，它们由领域内的顶尖专家撰写，内容全面、深入、详尽，为你学习大模型提供坚实的理论基础。（书籍含电子版PDF）
3. 大模型视频教程
对于很多自学或者没有基础的同学来说，书籍这些纯文字类的学习教材会觉得比较晦涩难以理解，因此，我们提供了丰富的大模型视频教程，以动态、形象的方式展示技术概念，帮助你更快、更轻松地掌握核心知识。
4. 大模型项目实战
学以致用，当你的理论知识积累到一定程度，就需要通过项目实战，在实际操作中检验和巩固你所学到的知识，同时为你找工作和职业发展打下坚实的基础。
5. 大模型行业报告
行业分析主要包括对不同行业的现状、趋势、问题、机会等进行系统地调研和评估，以了解哪些行业更适合引入大模型的技术和应用，以及在哪些方面可以发挥大模型的优势。
6. 大模型面试题
面试不仅是技术的较量，更需要充分的准备。
在你已经掌握了大模型技术之后，就需要开始准备面试，我们将提供精心整理的大模型面试题库，涵盖当前面试中可能遇到的各种技术问题，让你在面试中游刃有余。
为什么大家都在学AI大模型？
随着AI技术的发展，企业对人才的需求从“单一技术”转向 “AI+行业”双背景。企业对人才的需求从“单一技术”转向 “AI+行业”双背景。金融+AI、制造+AI、医疗+AI等跨界岗位薪资涨幅达30%-50%。
同时很多人面临优化裁员，近期科技巨头英特尔裁员2万人，传统岗位不断缩减，因此转行AI势在必行！
这些资料有用吗？
这份资料由我们和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理，现任上海殷泊信息科技CEO，其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证，服务航天科工、国家电网等1000+企业，以第一作者在IEEE Transactions发表论文50+篇，获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。
资料内容涵盖了从入门到进阶的各类视频教程和实战项目，无论你是小白还是有些技术基础的技术人员，这份资料都绝对能帮助你提升薪资待遇，转行大模型岗位。
大模型全套学习资料已整理打包，有需要的小伙伴可以
微信扫描下方CSDN官方认证二维码，免费领取【保证100%免费】
